CN112529878B - 一种基于多视图半监督的淋巴结的分类方法、系统及设备 - Google Patents
一种基于多视图半监督的淋巴结的分类方法、系统及设备 Download PDFInfo
- Publication number
- CN112529878B CN112529878B CN202011482944.9A CN202011482944A CN112529878B CN 112529878 B CN112529878 B CN 112529878B CN 202011482944 A CN202011482944 A CN 202011482944A CN 112529878 B CN112529878 B CN 112529878B
- Authority
- CN
- China
- Prior art keywords
- image
- fine
- granularity
- features
- grained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 210000001165 lymph node Anatomy 0.000 title claims abstract description 47
- 230000004927 fusion Effects 0.000 claims abstract description 53
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000011176 pooling Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000005520 cutting process Methods 0.000 claims abstract description 5
- 235000019580 granularity Nutrition 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000005192 partition Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims 1
- 238000012549 training Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 208000015799 differentiated thyroid carcinoma Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000003026 hypopharynx Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多视图半监督的淋巴结的分类方法、系统及设备，对淋巴结的原始灰阶超声图像进行图像预处理，通过对预处理后的图像使用U型神经网络进行图像重建，加权融合得到多尺度融合的粗粒度图像特征，利用半监督的方式进行粗粒度特征表示学习；裁剪原始灰阶超声图像包含结节的ROI区域得到细粒度图像，将细粒度图像通过不同层级中加入了空间和通道注意力机制的vgg16网络进行加权处理后再进行全局平均池化，将不同层级的特征输出进行拼接得到细粒度融合特征，多视图信息通过对粗粒度视图特征和细粒度试图特征进行融合得到，使得融合特征能同时具备结节的环境信息和细节信息，获取到更加丰富准确地描述，能够进行准确分类，提高了分类精确度。
Description
技术领域
本发明属于医学图像处理领域，具体涉及一种基于多视图半监督的淋巴结的分类方法、系统及设备。
背景技术
临床上，通常以细针吸取活检(FNA)作为淋巴结鉴别的金标准，虽然能提供准确的结果，但侵入性检查甚至手术都可能导致颈部淋巴结病变，并在一定程度上影响患者的身体状况。超声作为一种非侵入性的方法，以其方便、经济的特点，已成为颈部淋巴结术前信息采集最常用的方法。甲状腺癌转移淋巴结具有一定的超声特征，可用于分析分化型甲状腺癌患者术前颈部淋巴结转移的情况，为淋巴结清扫提供参考。颈部淋巴结具有分区特性，其中二区、三区、四区，覆盖了下咽后颈前等部位，是颈廓重点的清除对象。
目前淋巴结分类方法主要分为两类，包括传统人工设计特征和数据驱动的方法。对于淋巴结分类任务，早期的方法多为人工设计特征，主要包括图像的灰度特征，目标的大小、纵横比以及医学描述特征等。该类方法所得到的特征多为传统基于灰度的图像特征或需要精细标定的医学特征，通常传统方法获得的描述性信息较为单一，不足以对灰阶超声图像进行足够有效的特征提取；而精细的医学特征标定需要专业医师的标定，则通常不易获得；这些局限性限制了图像有效信息的提取。深度学习在图像分析领域的发展使得基于数据驱动的方法在医疗影像领域获得成功，然而目前现有的方法通常只关注于淋巴结超声图像的内部特征，如结节内部是否有钙化、液化、回声是否均匀等，忽略了淋巴结的环境信息。然而，淋巴结在不同分区的情况下具有很大的形态学差异，其背景信息也存在较大的不同。因此，结节环境信息在分类过程中也占有十分重要作用，只通过结节内部信息进行特征提取而忽略环境信息会对最终特征提取的有效性造成影响，进而对分类的准确性造成影响。
发明内容
本发明的目的在于提供一种基于多视图半监督的淋巴结的分类方法、系统及设备，以克服现有技术的不足。
为达到上述目的，本发明采用如下技术方案：
一种基于多视图半监督的淋巴结的分类方法，包括以下步骤：
S1，对淋巴结的原始灰阶超声图像进行图像预处理，对预处理后的图像使用图像重建神经网络进行图像重建；
S2，对重建后的图像进行多尺度特征提取，通过构建环境信息伪标签的方式进行半监督学习，得到多尺度融合的粗粒度图像特征；
S3，将淋巴结的原始灰阶超声图像中结节区域的ROI进行剪裁得到细粒度图像，将细粒度图像通过不同层级中加入了空间和通道注意力机制的vgg16网络进行加权处理后再进行全局平均池化，将不同层级的特征输出进行拼接得到细粒度融合特征；
S4，将粗粒度图像特征和细粒度融合特征进行融合，使用两层全连接层通过sigmoid激活联合输出得到分类结果。
进一步的，进行图像重建时先进行下采样，再进行上采样，得到原始图像不同尺度下的特征表达，每次采样之前均使用残差模块进行操作，在上采样过程中添加跨层连接进行点加实现特征的融合，完成图像的重建。
进一步的，将图像重建神经网络中解码器的不同层级处进行输出实现多尺度特征提取，不同尺度的特征通过两个卷积操作和一个展开层后使用一个拼接层进行特征拼接，得到多尺度融合的粗粒度图像特征。
进一步的，通过图像重建神经网络的解码器部分进行原始图像的多尺度特征提取，将解码器中每次采样看作是图像的一个粒度，对每一个粒度下的图像特征进行提取处理，其中在进行最终的特征融合之前每个粒度的特征均进行两次卷积操作，并进行矩阵展开为一维向量，使用一个拼接层对不同粒度的特征进行拼接得到融合的多尺度融合的粗粒度图像特征。
进一步的，将得到的多尺度融合特征分别通过两个线性全连接层进行半监督的多任务学习；多尺度融合特征使用模糊聚类的方法对图像背景信息进行建模，得到背景的分区作为半监督学习中的伪标签信息，得到的背景伪标签与原始目标标签。
进一步的，使用模糊聚类的方法对源标签中没有的分区标签进行建模，使用融合多尺度特征进行模糊聚类算法：
如(1)式所示：
其中ui，j代表第i个样本属于第j类的隶属度，vj代表了聚类中心的原型，参数m是确定分类结果模糊度的加权指数。
进一步的，通过图像增强的方式增加细粒度图像的数据量，将细粒度图像输入细粒度融合特征网络，在细粒度融合特征网络中通过使用空间和通道注意力机制的方法对淋巴结的内部信息进行建模。
进一步的，首先对ROI图像进行图像增强，采用固定原始图像比例的方式，对原始图像进行随机尺寸调整，图像缩放的调整范围设置为64到256，增强后的图像I′作为细粒度网络的输入数据集：
I′＝scale(I，(64，256))
细粒度网络以vgg16作为模型的初始模型，在模型的不同阶段使用SC-block增加注意力机制模块；SC-block包含空间和通道两个维度的注意力机制；对于空间注意力机制部分，使用卷积核为1x1的卷积对图像特征的通道域进行压缩，通过使用sigmoid函数作用于压缩的特征进行归一化，得到特征图在空间维度的加权矩阵的概率图。
一种基于多视图半监督的淋巴结的分类系统，包括图像预处理重建模块、粗粒度图像特征采集模块、细粒度图像特征采集模块和分类模块；
图像预处理重建模块用于对淋巴结的原始灰阶超声图像进行图像预处理，并对预处理后的图像进行图像重建；将重建后的图像传输至粗粒度图像特征采集模块和细粒度图像特征采集模块，粗粒度图像特征采集模块对重建后的图像进行多尺度特征提取得到多尺度融合的粗粒度图像特征；细粒度图像特征采集模块对重建后的图像中结节区域的ROI进行剪裁得到细粒度图像，将细粒度图像进行全局池化，并将全局池化的不同层级的特征进行拼接得到细粒度融合特征；分类模块将粗粒度图像特征和细粒度融合特征进行融合，使用两层全连接层通过sigmoid激活联合输出得到分类结果并输出。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于多视图半监督的淋巴结的分类方法的步骤。
与现有技术相比，本发明具有以下有益的技术效果：
本发明一种基于多视图半监督的淋巴结分类方法，首先对淋巴结的原始灰阶超声图像进行图像预处理，通过对预处理后的图像使用U型神经网络进行图像重建，通过将每次上采样的结果并行叠加实现加权融合，获取原始图像的多粒度自表达信息，进而对多粒度信息进行融合得到多尺度融合的粗粒度图像特征，为了能够建模原始标签中缺失的淋巴结分区信息，对粗粒度视图原始标签中缺失的环境信息进行伪标签生成，利用半监督的方式进行粗粒度特征表示学习；通过裁剪原始灰阶超声图像包含结节的ROI区域得到细粒度图像，将细粒度图像通过不同层级中加入了空间和通道注意力机制的vgg16网络进行加权处理后再进行全局平均池化，将不同层级的特征输出进行拼接得到细粒度融合特征，多视图信息通过对粗粒度视图特征和细粒度试图特征进行融合得到，使得融合特征能同时具备结节的环境信息和细节信息，获取到更加丰富准确地描述，进而能够进行准确分类，提高了分类精确度。
进一步的，利用模糊聚类的方法对粗粒度视图原始标签中缺失的环境信息进行伪标签生成，模糊聚类的方法使用隶属度矩阵代替one-hot编码，相比传统硬聚类方法减少了聚类错误对模型的影响；粗粒度图像特征在进行训练时，以多任务的方式进行，伪标签和真实标签共同进行网络学习的监督，其中，在训练过程中伪标签不断进行迭代更新，以保证伪标签的有效性。
进一步的，采用的SC-block注意力机制模块被用于vgg16的不同层级，使得网络模型能够同时在空间和通道两个维度将注意力集中在更具有判别性的地方，再通过进行多尺度特征融合得到更好的细粒度图像描述。
进一步的，多视图的信息通过两个视图的多尺度特征的融合进行实现，多视图信息不仅包含了粗粒度图像中所具有的分区和环境信息，同时也包含细粒度部分的结节内部细节信息，通过对两个视图信息进行融合，获得更加全面有效的结节信息，进而提高了检测的准确性。
一种基于多视图半监督的淋巴结的分类系统，采用图像预处理重建模块、粗粒度图像特征采集模块、细粒度图像特征采集模块和分类模块；通过结节内部信息并结合环境信息对最终特征提取，有效提高了分类的准确性，结构简单，能够快速实现分类。
附图说明
图1为本发明实施例中的多视图半监督神经网络总图。
图2为本发明实施例中粗粒度视图神经网络分支的结构示意图。
图3为本发明实施例中细粒度视图神经网络分支的结构示意图。
图4为本发明实施例中样本空间在有无伪标签辅助训练情况下的聚类示意图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
如图1所示，一种基于多视图半监督的淋巴结分类方法，包括以下步骤：
S1：对淋巴结的原始灰阶超声图像(粗粒度图像)进行图像预处理，对预处理后的图像使用图像重建神经网络(Hourglass网络)进行图像重建；
图像重建神经网络包括编码器和解码器，编码器和解码器结构包括下采样层和上采样层，进行图像重建时先进行下采样，得到原始图像不同尺度下的特征表达，再进行上采样，每次采样之前均使用残差模块进行操作，在上采样过程中添加跨层连接进行点加实现特征的融合，完成图像的重建。
S2：将图像重建神经网络中解码器的不同层级处的特征进行输出，实现多尺度特征提取。提取到的多尺度特征通过两个卷积操作和一个展开层处理后使用一个拼接层进行特征拼接，得到多尺度融合的粗粒度图像特征，即多尺度融合特征；每次卷积操作均包括依次进行的3x3卷积和批次归一化。
所述S2中通过使用图像重建的方法对淋巴结的多粒度信息进行提取融合的具体方法为：通过图像重建神经网络的解码器部分进行原始图像的多尺度特征提取，将解码器中每次采样看作是图像的一个粒度，对每一个粒度下的图像特征进行提取处理，其中在进行最终的特征融合之前每个粒度的特征均进行两次卷积操作，并进行矩阵展开为一维向量，使用一个拼接层对不同粒度的特征进行拼接得到融合的多尺度融合特征。
S3:得到的多尺度融合的粗粒度图像特征分别通过两个线性全连接层进行半监督的多任务学习(包括聚类和分类)；
具体的，多尺度融合特征使用模糊聚类的方法对图像背景信息进行建模，得到背景的分区作为半监督学习中的伪标签信息，得到的背景伪标签与原始目标标签(同时对网络进行监督学习)。
通过这种半监督学习训练的方式，使得融合层的特征(粗粒度特征)同时具有分类和分区的信息，训练过程中使用融合损失函数进行优化。
S4:如图3所示，细粒度图像由淋巴结的原始灰阶超声图像中包含结节区域的ROI进行剪裁得到，为了增加图像的多样性，对原始图像进行图像增强来扩大数据集，将细粒度图像输入细粒度融合特征网络，细粒度融合特征网络的架构基于vgg16网络，其中，在细粒度融合特征网络的不同尺度部分分别加入注意力机制模块SC block和一个全局池化模块，将通过全局池化的不同层级的特征进行拼接得到细粒度融合特征，再通过ReLu激活和一层由sigmoid激活的全连接层进行分类。
S5:将上述所得粗粒度图像特征和细粒度融合特征进行融合，最终使用两层全连接层，通过sigmoid激活联合输出得到最终的分类结果。
如图2所示，所述S3中通过使用模糊聚类的方法对淋巴结的环境信息进行建模的具体方法为：
使用模糊聚类的方法对源标签中没有的分区标签进行建模，我们使用融合多尺度特征进行模糊聚类算法：
如(1)式所示：
其中ui，j代表第i个样本属于第j类的隶属度，vj代表了聚类中心的原型，参数m是确定分类结果模糊度的加权指数。
该优化问题的求解通常采用交互策略，即先给定V使U最小化，再给定U使V最小化，将原函数转化为两个简单的二次优化问题。因此，FCM算法可以很容易地部署到神经网络中，并进行模糊聚类来生成伪标签。聚类迭代过程中的更新公式如公式(2)所示。
一旦确定了一组群集中心{V＝v1，v2，...vc}，将通过公式(2B)重新计算隶属度U，直到满足条件||U(k+1)-U(K)||≤6。我们采用半监督的多任务学习方法，使用伪标签和真实标签对网络进行监督，使得网络能够同时获得分类和聚类信息。其中，由于在此处使用模糊聚类的方法对伪标签进行建模，即我们使用联合概率对图像背景所属类别进行描述，其相比于传统硬聚类算法的优势在于，使用概率分布代替one-hot编码，能够减少由于伪标签的不确定性在训练过程中对网络带来的影响，进而保证网络的训练不会由于为标签错误而出现偏差。该阶段的融合损失函数包括分类的交叉损失和聚类的均方误差损失，其定义为公式(3)，
其中，分类损失为交叉熵损失，聚类损失为均方误差，yi为真实标签，u′i为当前训练过程中的聚类伪标签，α和β分别为融合损失的超参数，目的在于平衡两类损失。
所述S4中通过使用空间和通道注意力机制的方法对淋巴结的内部信息进行建模的具体方法为：
首先对ROI图像进行图像增强，采用固定原始图像比例的方式，对原始图像进行随机尺寸调整，其目的在于模拟现实中对视图的放大和缩小，同时保留了结节的形态学信息，避免由于拉伸形变带来的影响。图像缩放的调整范围设置为64到256，增强后的图像I′作为细粒度网络的输入数据集。
I′＝scale(I，(64，256))
细粒度网络以vgg16作为模型的初始模型，为了能够对图像的不同尺度进行特征提取，在模型的不同阶段使用设计的SC-block注意力机制模块。此处所设计的SC-block注意力机制模块包含空间和通道两个维度的注意力机制。对于空间注意力机制部分，使用卷积核为1x1的卷积对图像特征的通道域进行压缩，通过使用sigmoid函数作用于压缩的特征进行归一化，得到特征图在空间维度的加权矩阵的概率图，其目的在于对空间域上重要的特征进行关注。
对于通道注意力机制模块，使用全局池化层将图像特征的空间域进行压缩，再通过使用一个通过sigmoid进行激活的全连接层得到通道域的权重矩阵，其目的在于对通道域上重要的特征进行关注。最后，分别使用空间域和通道域的加权矩阵对特征图进行点积后与原始图像一同进行求和，得到注意力加权特征矩阵Xatten。
Xatten＝xch+xsp+xori
来自网络不同层级的特征通过SC-block进行加权处理后，分别使用一个全局池化层和一个矩阵展开层来对特征进行降维处理得到一维，最后不同粒度的特征通过一个拼接层进行融合得到Xfine，其中L为所选取的层级数。
得到融合的多尺度细粒度特征Xfine后，应用两个全连接层进行分类训练，该过程中的训练损失为交叉熵损失。
所述S5中，多视图融合的具体方法为，对粗粒度图像和细粒度图像的多尺度融合特征使用一个拼接层进行拼接，使用多视图的特征进行最终的分类，这里使用交叉熵损失进行训练：
其中，yi表示结节的真实类别标签，y^i表示预测的概率。
本发明通过结合淋巴结粗粒度视图和细粒度视图，通过利用编码器解码器模型对图像进行重建，得到多粒度的图像自表达信息，进而对这些信息进行融合获得粗粒度图像的多尺度特征，为了能够建模原始标签中缺失的淋巴结分区信息来进行辅助分类，利用模糊聚类的方法对粗粒度视图原始标签中缺失的环境信息进行伪标签生成，模糊聚类使用隶属度矩阵代替原始的one-hot编码，相比传统硬聚类方法减少了聚类错误对模型的影响；粗粒度图像特征在进行训练时，以多任务的方式进行，伪标签和真实标签共同进行网络学习的监督，其中，在训练过程中伪标签以交互的形式不断进行迭代更新，确保伪标签的有效性。
细粒度图像(包含结节的ROI)被应用于淋巴结结节内部信息的特征提取。SC-block注意力机制模块被用于vgg16的不同层，使得网络模型能够将注意力集中在更具有判别性的地方。通过对网络中的多尺度特征融合，得到更丰富的图像描述。
多视图的信息通过两个视图的多尺度特征的融合进行实现，多视图信息不仅包含了粗粒度图像中所具有的分区和环境信息，同时也包含细粒度部分的结节内部细节信息，通过对两个视图信息进行融合，获得更加全面有效的结节信息，进而提高了检测的准确性。
为了评估该网络的性能，我们选择了三个评价指标：准确率(P＝TP+TN/(TP+FP+TN+FN))、召回率(R＝TP/(TP+FN))和F1得分(F1＝2.P·R/(P+R))，其中P和R分别代表准确率和召回率，TP、FP、TN和FN分别代表真阳性、假阳性、真阴性和假阴性的数量。由于我们提出的方法是基于结节的两种视图，因此我们分别对这两种视图在其他网络上的性能进行了比较。我们比较了不同网络的分类性如Exception，ResNet50，Mobilnet V2，并计算了上述指标。所有比较的模型都是由ImageNet预先训练的。实验结果如表I所示，从表I可以看出，我们的模型在准确率和F1得分方面取得了最好的结果，但在召回率方面略逊于其中一个模型。然而，对于二分类问题，若模型结果呈现高召回率和低准确率的结果，则表明该模型倾向于将所有样本归为一类，不能做出有效的决策。
为了充分分析该方法各部分的有效性，我们将对比实验分为以下五个部分进行消融实验：1)原始ROI图像分类，2)baseline全图像分类，3)加入SC-block的细粒度网络分类，4)加入半监督聚类分析的粗粒度网络分类，5)多视图半监督学习框架的结果。如表II所示，我们提出的模型在准确率(0.803)和F1得分(0.820)方面达到了最高水平，同时召回率也可以保持在较高的水平(0.854)。通过消融实验的对比，我们可以证明FCM聚簇部分和SC-块在分类任务上的积极影响，最终的分类结果表明，半监督多视图框架能够进行有效的分类，在精度上达到最高值。
表II
为了进一步探讨软聚类半监督任务对粗粒度网络嵌入空间的影响的可解释性，分别在有无伪标签监督的情况下对多尺度特征的分布进行可视化。具体步骤在于，粗粒度网络的拼接层获取的特征进行FCM聚类，得到数据集中每个样本的隶属度矩阵，使用u＝max(u′i)得到每个样本所属的类别，对已得到伪标签的特征进行可视化。由于提取到的样本特征为高维特征，且高维到低维的投影不会改变样本的分布，因此这里通过主成分分析法对高维特征进行降维(2维特征)，以便于可视化结果。如图4(A)表示仅由分类标签监督的图像嵌入，图4(B)表示分类标签和伪标签共同监督的图像嵌入。由图像中数据点的分布可以看出，加入聚类信息进行半监督多任务学习后，不同类别(红、黄、绿、蓝)的隐含层特征之间的边界更加清晰，低维空间中的不同类别的样本点重叠更少，且类内距离更小。可以证明，聚类信息可以帮助网络更好地学习空间信息，有效对样本进行辅助分类。
Claims (5)
1.一种基于多视图半监督的淋巴结的分类方法，其特征在于，包括以下步骤：
S1，对淋巴结的原始灰阶超声图像进行图像预处理，对预处理后的图像使用图像重建神经网络进行图像重建；
S2，对重建后的图像进行多尺度特征提取，通过构建环境信息伪标签的方式进行半监督学习，得到多尺度融合的粗粒度图像特征；
将图像重建神经网络中解码器的不同层级处进行输出实现多尺度特征提取，不同尺度的特征通过两个卷积操作和一个展开层后使用一个拼接层进行特征拼接，得到多尺度融合的粗粒度图像特征；
通过图像重建神经网络的解码器部分进行原始图像的多尺度特征提取，将解码器中每次采样看作是图像的一个粒度，对每一个粒度下的图像特征进行提取处理，其中在进行最终的特征融合之前每个粒度的特征均进行两次卷积操作，并进行矩阵展开为一维向量，使用一个拼接层对不同粒度的特征进行拼接得到融合的多尺度融合的粗粒度图像特征；
将得到的多尺度融合特征分别通过两个线性全连接层进行半监督的多任务学习；多尺度融合特征使用模糊聚类的方法对图像背景信息进行建模，得到背景的分区作为半监督学习中的伪标签信息，得到的背景伪标签与原始目标标签；
S3，将淋巴结的原始灰阶超声图像中结节区域的ROI进行剪裁得到细粒度图像，将细粒度图像通过不同层级中加入了空间和通道注意力机制的vgg16网络进行加权处理后再进行全局平均池化，将不同层级的特征输出进行拼接得到细粒度融合特征；
使用模糊聚类的方法对源标签中没有的分区标签进行建模，使用融合多尺度特征进行模糊聚类算法：
如(1)式所示：
其中ui,j代表第i个样本属于第j类的隶属度，vj代表了聚类中心的原型，参数m是确定分类结果模糊度的加权指数；
通过图像增强的方式增加细粒度图像的数据量，将细粒度图像输入细粒度融合特征网络，在细粒度融合特征网络中通过使用空间和通道注意力机制的方法对淋巴结的内部信息进行建模；
S4，将粗粒度图像特征和细粒度融合特征进行融合，使用两层全连接层通过sigmoid激活联合输出得到分类结果
2.根据权利要求1所述的一种基于多视图半监督的淋巴结的分类方法，其特征在于，进行图像重建时先进行下采样，再进行上采样，得到原始图像不同尺度下的特征表达，每次采样之前均使用残差模块进行操作，在上采样过程中添加跨层连接进行点加实现特征的融合，完成图像的重建。
3.根据权利要求1所述的一种基于多视图半监督的淋巴结的分类方法，其特征在于，首先对ROI图像进行图像增强，采用固定原始图像比例的方式，对原始图像进行随机尺寸调整，图像缩放的调整范围设置为64到256,增强后的图像I′作为细粒度网络的输入数据集：
I′＝scale(I,(64,256))
细粒度网络以vgg16作为模型的初始模型，在模型的不同阶段使用SC-block增加注意力机制模块；SC-block包含空间和通道两个维度的注意力机制；对于空间注意力机制部分，使用卷积核为1x1的卷积对图像特征的通道域进行压缩，通过使用sigmoid函数作用于压缩的特征进行归一化，得到特征图在空间维度的加权矩阵的概率图。
4.一种基于权利要求1所述的一种基于多视图半监督的淋巴结的分类方法的多视图半监督的淋巴结的分类系统，其特征在于，包括图像预处理重建模块、粗粒度图像特征采集模块、细粒度图像特征采集模块和分类模块；
图像预处理重建模块用于对淋巴结的原始灰阶超声图像进行图像预处理，并对预处理后的图像进行图像重建；将重建后的图像传输至粗粒度图像特征采集模块和细粒度图像特征采集模块，粗粒度图像特征采集模块对重建后的图像进行多尺度特征提取得到多尺度融合的粗粒度图像特征；细粒度图像特征采集模块对重建后的图像中结节区域的ROI进行剪裁得到细粒度图像，将细粒度图像进行全局池化，并将全局池化的不同层级的特征进行拼接得到细粒度融合特征；分类模块将粗粒度图像特征和细粒度融合特征进行融合，使用两层全连接层通过sigmoid激活联合输出得到分类结果并输出。
5.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述淋巴结的分类方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011482944.9A CN112529878B (zh) | 2020-12-15 | 2020-12-15 | 一种基于多视图半监督的淋巴结的分类方法、系统及设备 |
| PCT/CN2021/118605 WO2022127227A1 (zh) | 2020-12-15 | 2021-09-15 | 一种基于多视图半监督的淋巴结的分类方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011482944.9A CN112529878B (zh) | 2020-12-15 | 2020-12-15 | 一种基于多视图半监督的淋巴结的分类方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112529878A CN112529878A (zh) | 2021-03-19 |
| CN112529878B true CN112529878B (zh) | 2024-04-02 |
Family
ID=75000427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011482944.9A Active CN112529878B (zh) | 2020-12-15 | 2020-12-15 | 一种基于多视图半监督的淋巴结的分类方法、系统及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112529878B (zh) |
| WO (1) | WO2022127227A1 (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529878B (zh) * | 2020-12-15 | 2024-04-02 | 西安交通大学 | 一种基于多视图半监督的淋巴结的分类方法、系统及设备 |
| CN113642611B (zh) * | 2021-07-16 | 2024-04-12 | 重庆邮电大学 | 一种基于多粒度的胎儿心脏超声图像识别方法 |
| CN113537390B (zh) * | 2021-08-06 | 2023-10-10 | 国网新源水电有限公司富春江水力发电厂 | 一种基于图卷积网络的动态点云位置预测方法 |
| CN114118199A (zh) * | 2021-09-01 | 2022-03-01 | 济宁安泰矿山设备制造有限公司 | 一种用于智能泵腔体内窥镜故障诊断的图像分类方法及系统 |
| CN114067107B (zh) * | 2022-01-13 | 2022-04-29 | 中国海洋大学 | 基于多粒度注意力的多尺度细粒度图像识别方法及系统 |
| CN114550307B (zh) * | 2022-04-22 | 2022-09-09 | 中国科学技术大学 | 动作定位模型的训练方法、装置及动作定位方法 |
| CN115100476A (zh) * | 2022-07-04 | 2022-09-23 | 福州大学 | 一种基于结构建模局部提议网络的细粒度分类方法 |
| CN114936615B (zh) * | 2022-07-25 | 2022-10-14 | 南京大数据集团有限公司 | 一种基于表征一致性校对的小样本日志信息异常检测方法 |
| CN115393316B (zh) * | 2022-08-24 | 2023-06-09 | 维都利阀门有限公司 | 具有冲蚀状态监测系统的闪蒸阀及其监测方法 |
| CN115272776B (zh) * | 2022-09-26 | 2023-01-20 | 山东锋士信息技术有限公司 | 基于双路卷积与双注意的高光谱图像分类方法及存储介质 |
| CN116129129B (zh) * | 2022-10-09 | 2023-11-03 | 南京恩博科技有限公司 | 一种人物交互检测模型及检测方法 |
| CN116564534A (zh) * | 2023-04-03 | 2023-08-08 | 北京林业大学 | 中医临床数据的多视图聚类方法、装置及电子设备 |
| CN116452865B (zh) * | 2023-04-03 | 2023-11-07 | 南通大学 | 基于模糊逻辑的跳跃式注意力肺部病理图像分类方法 |
| CN116563615B (zh) * | 2023-04-21 | 2023-11-07 | 南京讯思雅信息科技有限公司 | 基于改进多尺度注意力机制的不良图片分类方法 |
| CN116543216A (zh) * | 2023-05-10 | 2023-08-04 | 北京建筑大学 | 细粒度图像分类优化方法及系统 |
| CN117021435B (zh) * | 2023-05-12 | 2024-03-26 | 浙江闽立电动工具有限公司 | 修边机的修边控制系统及其方法 |
| CN116778233B (zh) * | 2023-06-07 | 2024-02-06 | 中国人民解放军国防科技大学 | 一种基于图神经网络的不完全深度多视图半监督分类方法 |
| CN116452896B (zh) * | 2023-06-16 | 2023-10-20 | 中国科学技术大学 | 用于提升细粒度图像分类性能的方法、系统、设备及介质 |
| CN116485791B (zh) * | 2023-06-16 | 2023-09-29 | 华侨大学 | 基于吸收度的双视图乳腺肿瘤病变区自动检测方法及系统 |
| CN116486183B (zh) * | 2023-06-21 | 2023-09-26 | 耕宇牧星(北京)空间科技有限公司 | 基于多种注意力权重融合特征的sar图像建筑区分类方法 |
| CN116958659B (zh) * | 2023-07-04 | 2024-04-02 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分类方法、训练图像分类模型的方法及装置 |
| CN117115573B (zh) * | 2023-10-25 | 2024-01-05 | 华侨大学 | 一种有毒生物图像分类识别方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685115A (zh) * | 2018-11-30 | 2019-04-26 | 西北大学 | 一种双线性特征融合的细粒度概念模型及学习方法 |
| WO2019136946A1 (zh) * | 2018-01-15 | 2019-07-18 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及系统 |
| CN110569870A (zh) * | 2019-07-25 | 2019-12-13 | 中国人民解放军陆军工程大学 | 基于多粒度标签融合的深度声学场景分类方法及系统 |
| CN111738355A (zh) * | 2020-07-22 | 2020-10-02 | 中国人民解放军国防科技大学 | 注意力融合互信息的图像分类方法、装置及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10898126B2 (en) * | 2015-04-02 | 2021-01-26 | Eulji University Industry Academy Cooperation Foundation | Triple-fusion imaging device for sentinel lymphadenectomy during laparoscopic surgery |
| CN110533024B (zh) * | 2019-07-10 | 2021-11-23 | 杭州电子科技大学 | 基于多尺度roi特征的双二次池化细粒度图像分类方法 |
| CN110598029B (zh) * | 2019-09-06 | 2022-03-22 | 西安电子科技大学 | 基于注意力转移机制的细粒度图像分类方法 |
| CN110598654B (zh) * | 2019-09-18 | 2022-02-11 | 合肥工业大学 | 多粒度交叉模态特征融合行人再识别方法和再识别系统 |
| CN112529878B (zh) * | 2020-12-15 | 2024-04-02 | 西安交通大学 | 一种基于多视图半监督的淋巴结的分类方法、系统及设备 |
-
2020
- 2020-12-15 CN CN202011482944.9A patent/CN112529878B/zh active Active
-
2021
- 2021-09-15 WO PCT/CN2021/118605 patent/WO2022127227A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019136946A1 (zh) * | 2018-01-15 | 2019-07-18 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及系统 |
| CN109685115A (zh) * | 2018-11-30 | 2019-04-26 | 西北大学 | 一种双线性特征融合的细粒度概念模型及学习方法 |
| CN110569870A (zh) * | 2019-07-25 | 2019-12-13 | 中国人民解放军陆军工程大学 | 基于多粒度标签融合的深度声学场景分类方法及系统 |
| CN111738355A (zh) * | 2020-07-22 | 2020-10-02 | 中国人民解放军国防科技大学 | 注意力融合互信息的图像分类方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 何凯 ; 冯旭 ; 高圣楠 ; 马希涛 ; .基于多尺度特征融合与反复注意力机制的细粒度图像分类算法.天津大学学报(自然科学与工程技术版).2020,(第10期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112529878A (zh) | 2021-03-19 |
| WO2022127227A1 (zh) | 2022-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112529878B (zh) | 一种基于多视图半监督的淋巴结的分类方法、系统及设备 | |
| Murtaza et al. | Deep learning-based breast cancer classification through medical imaging modalities: state of the art and research challenges | |
| Li et al. | Deep learning attention mechanism in medical image analysis: Basics and beyonds | |
| CN109754007A (zh) | 前列腺手术中外包膜智能检测和预警方法及系统 | |
| Abbood et al. | DR-LL Gan: Diabetic Retinopathy Lesions Synthesis using Generative Adversarial Network. | |
| Sreenivasu et al. | Dense convolutional neural network for detection of cancer from CT images | |
| CN114693933A (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
| Hussain et al. | Deep learning-based diagnosis of disc degenerative diseases using MRI: a comprehensive review | |
| Sridhar et al. | A Torn ACL mapping in knee MRI images using deep convolution neural network with Inception-v3 | |
| Wang et al. | Cataract detection based on ocular B-ultrasound images by collaborative monitoring deep learning | |
| CN113707278B (zh) | 一种基于空间编码的脑ct医学报告生成方法 | |
| Lu et al. | PKRT-Net: prior knowledge-based relation transformer network for optic cup and disc segmentation | |
| Anaam et al. | Studying the applicability of generative adversarial networks on HEp-2 cell image augmentation | |
| Gulati et al. | Comparative analysis of deep learning approaches for the diagnosis of diabetic retinopathy | |
| Karagoz et al. | An unsupervised transfer learning model based on convolutional auto encoder for non-alcoholic steatohepatitis activity scoring and fibrosis staging of liver histopathological images | |
| Yang | A novel brain image segmentation method using an improved 3D U-net model | |
| Raju et al. | A review of an early detection and quantification of osteoarthritis severity in knee using machine learning techniques | |
| Salini et al. | Deepfakes on retinal images using GAN | |
| Borah et al. | Performance Analysis of Breast Cancer Classification from Mammogram Images Using Vision Transformer | |
| Peter et al. | Medical image analysis using unsupervised and supervised classification techniques | |
| Zhang et al. | Multi-source adversarial transfer learning for ultrasound image segmentation with limited similarity | |
| Chen et al. | Deep learning in mesoscale brain microscopy image analysis: A review | |
| Chandra et al. | A Novel Framework For Brain Disease Classification Using Quantum Convolutional Neural Network | |
| Azhagiri et al. | EAN: enhanced AlexNet deep learning model to detect brain tumor using magnetic resonance images | |
| CN117095241B (zh) | 一种耐药性肺结核类别的筛查方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |