CN117437493B - 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 - Google Patents
联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 Download PDFInfo
- Publication number
- CN117437493B CN117437493B CN202311753751.6A CN202311753751A CN117437493B CN 117437493 B CN117437493 B CN 117437493B CN 202311753751 A CN202311753751 A CN 202311753751A CN 117437493 B CN117437493 B CN 117437493B
- Authority
- CN
- China
- Prior art keywords
- feature vector
- brain tumor
- order
- image
- mri image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000013598 vector Substances 0.000 claims abstract description 101
- 238000011176 pooling Methods 0.000 claims abstract description 62
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 238000007634 remodeling Methods 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 61
- 238000003745 diagnosis Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 208000007913 Pituitary Neoplasms Diseases 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 206010027191 meningioma Diseases 0.000 description 3
- 208000032612 Glial tumor Diseases 0.000 description 2
- 206010018338 Glioma Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 208000010916 pituitary tumor Diseases 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000026062 Tissue disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明公开了一种联合一阶和二阶特征的脑肿瘤MRI图像分类方法及系统，涉及医学影像分析技术领域，该方法包括：获取待分类的脑肿瘤MRI图像，对脑肿瘤MRI图像进行预处理；以预训练的ResNet18网络作为主干网络，利用主干网络提取预处理后的脑肿瘤MRI图像的初始特征向量；基于初始特征向量，通过全局平均池化获取脑肿瘤MRI图像的一阶特征向量，通过协方差池化获取脑肿瘤MRI图像的二阶特征向量；基于一阶特征向量和二阶特征向量，分别进行类别预测，再将两种类别预测结果相加融合，得到最终的分类结果。本发明通过联合一阶和二阶特征来总结图像数据的全局特征和更精细的局部结构，实现更高精度的脑肿瘤MRI图像分类。
Description
技术领域
本发明涉及医学影像分析技术领域，尤其涉及一种联合一阶和二阶特征的脑肿瘤MRI图像分类方法及系统。
背景技术
脑肿瘤是常见的脑组织疾病之一，是人脑中异常增殖的细胞，常见的脑肿瘤类型包括脑膜瘤、胶质瘤、垂体肿瘤等。脑肿瘤对人类的健康有着严重的影响。由于脑肿瘤的发病位置多种多样、边缘模糊以及类型的多样性，因此，精确地对脑肿瘤进行分类是一项具有挑战性的工作。磁共振成像技术(Magnetic Resonance Imaging, MRI)在脑肿瘤的诊断中扮演着关键角色，其高分辨率成像能清晰显示脑肿瘤的位置和周围组织关系，对于脑肿瘤的诊断有着重要的意义。
基于MRI图像的脑肿瘤诊断受限于医生的经验，而如何使用计算机技术进行辅助诊断脑肿瘤是一个亟待解决的问题。近年来，深度学习、计算机视觉等计算机技术已经成功应用于医疗领域，它不仅可以快速地识别医疗图像，还能够提供精准的诊断结果，辅助医生进行诊断。目前，针对于脑肿瘤的辅助诊断，尤其是MRI图像的辅助诊断也有着相应的方案，这些方案大多基于预训练的神经网络(如ResNet网络等)进行迁移学习。然而，这些方法仅通过网络末端的全局平均池化层(Global Average Pooling, GAP)来捕获全局特征，没有考虑到特征之间的详细关系和复杂性，导致最终检测分类效果较差。即，现有的基于预训练的神经网络进行脑肿瘤MRI图像分类的算法，其精确性和鲁棒性存在一定的不足。
发明内容
为解决上述现有技术的不足，本发明提供了一种联合一阶和二阶特征的脑肿瘤MRI图像分类方法及系统，不仅通过一阶池化获取图像一阶特征，以此来保留全局信息，而且还利用二阶池化来建模特征之间的关系和空间结构，最后再通过联合一阶特征和二阶特征来总结数据的全局特征和更精细的局部结构，以此进行MRI图像分类，提高算法的精度和鲁棒性，更好地辅助医生进行脑肿瘤诊断。
第一方面，本发明提供了一种联合一阶和二阶特征的脑肿瘤MRI图像分类方法。
一种联合一阶和二阶特征的脑肿瘤MRI图像分类方法，包括：
获取待分类的脑肿瘤MRI图像，对脑肿瘤MRI图像进行预处理；
以预训练的ResNet18网络作为图像分类网络模型的主干网络，利用主干网络提取预处理后的脑肿瘤MRI图像的初始特征向量；
基于初始特征向量，通过全局平均池化获取脑肿瘤MRI图像的一阶特征向量；
基于初始特征向量，通过协方差池化获取脑肿瘤MRI图像的二阶特征向量；
基于一阶特征向量和二阶特征向量，通过对应的分类器分别进行类别预测，再将两种类别预测结果相加融合，得到最终的待分类的脑肿瘤MRI图像的分类结果。
第二方面，本发明提供了一种联合一阶和二阶特征的脑肿瘤MRI图像分类系统。
一种联合一阶和二阶特征的脑肿瘤MRI图像分类系统，包括：
图像获取及预处理模块，用于获取待分类的脑肿瘤MRI图像，对脑肿瘤MRI图像进行预处理；
初始特征向量提取模块，用于以预训练的ResNet18网络作为图像分类网络模型的主干网络，利用主干网络提取预处理后的脑肿瘤MRI图像的初始特征向量；
一阶特征向量提取模块，用于基于初始特征向量，通过全局平均池化获取脑肿瘤MRI图像的一阶特征向量；
二阶特征向量提取模块，用于基于初始特征向量，通过协方差池化获取脑肿瘤MRI图像的二阶特征向量；
图像分类模块，用于基于一阶特征向量和二阶特征向量，通过对应的分类器分别进行类别预测，再将两种类别预测结果相加融合，得到最终的待分类的脑肿瘤MRI图像的分类结果。
以上一个或多个技术方案存在以下有益效果：
1、本发明提供了一种联合一阶和二阶特征的脑肿瘤MRI图像分类方法及系统，考虑到相较于一阶池化的方法，二阶池化够捕捉更多的信息、提供更丰富的特征表示，有利于增强算法的鲁棒性，因此，将一阶池化和二阶池化相结合，使用一阶池化来保留全局信息，捕获特征的平均值，并使用二阶池化建模特征之间的关系和空间结构，再通过结合两种池化使模型更好地理解图像数据的全局特征和局部结构，以此提高算法的精度；与现有方法相比，本发明实现了更精确的脑肿瘤MRI图像分类，有助于脑肿瘤的辅助诊断。
2、本发明中，通过利用二阶池化对主干网络提取的特征进行高阶建模，该二阶池化具体是指使用协方差池化来建模二阶表示，以此来弥补一阶池化在处理包含丰富空间相关性和关联性的数据时的不足；同时，为了减少二阶池化带来的计算消耗，本发明采用分组计算协方差的策略，通过在多个组中计算协方差池化来减少计算资源的消耗，以此加快学习和推理速度，提高效率。
3、不同于计算机视觉中通用的做法，本发明不仅使用二阶池化来建模复杂的空间结构，还联合一阶池化来增加特征的多样性，通过将一阶和二阶池化结合，可以为模型提供不同层次的信息，使其能够从不同角度理解数据，有助于增加特征多样性，提高模型性能和泛化能力。
4、本发明所提出的方法可应用在智能影像识别中，利用该方法对脑肿瘤MRI图像进行分类，为相关从业人员提供真实可靠、科学的临床诊断参考，提高诊断准确率。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例所述联合一阶和二阶特征的脑肿瘤MRI图像分类方法的整体流程图；
图2为本发明实施例中联合一阶和二阶特征进行脑肿瘤MRI图像分类的算法的整体结构示意图；
图3为本发明实施例中提取二阶特征向量的流程示意图；
图4为本发明实施例中图像分类算法的训练过程示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，仅是为了描述具体实施方式，旨在对本发明提供进一步的说明，并非意图限制根据本发明的示例性实施方式。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
考虑到现有方法仅通过网络末端的全局平均池化层来捕获图像的全局特征，没有考虑到特征之间的详细关系和复杂性，而二阶池化(Second Order Pooling, SOP)在图像识别、目标检测、行为识别中已经有着广泛的应用，相较于一阶池化方法，二阶池化够捕捉更多的信息、提供更丰富的特征表示，增强算法鲁棒性。因此，受启发于二阶池化方法在计算机视觉领域中的应用，本实施例中，在网络末端对最后一个卷积层的输出特征执行二阶池化操作，通过同时考虑一阶特征和二阶特征，即将一阶池化和二阶池化相结合，使用一阶池化来保留全局信息，捕获特征的平均值，使用二阶池化建模特征之间的关系和空间结构，通过结合两种池化使模型更好地理解数据的全局特征和局部结构，提高算法的精度，实现更精确、更稳定的脑肿瘤MRI图像分类。
本实施例提供了一种联合一阶和二阶特征的脑肿瘤MRI图像分类方法，如图1所示，具体包括以下步骤：
获取待分类的脑肿瘤MRI图像，对脑肿瘤MRI图像进行预处理；
以预训练的ResNet18网络作为图像分类网络模型的主干网络，利用主干网络提取预处理后的脑肿瘤MRI图像的初始特征向量；
基于初始特征向量，通过全局平均池化获取脑肿瘤MRI图像的一阶特征向量；
基于初始特征向量，通过协方差池化获取脑肿瘤MRI图像的二阶特征向量；
基于一阶特征向量和二阶特征向量，通过对应的分类器分别进行类别预测，再将两种类别预测结果相加融合，得到最终的待分类的脑肿瘤MRI图像的分类结果。
通过下述内容对本实施例所提出的联合一阶和二阶特征的脑肿瘤MRI图像分类方法进行更详细的介绍。
步骤S1、数据准备。获取待分类的脑肿瘤MRI图像。
步骤S2、数据预处理。对获取的待分类的脑肿瘤MRI图像进行尺寸调整，将图像的输入大小调整为，以便于后续输入到主干网络中进行特征提取，记输入图像为。
步骤S3、特征提取。将图像输入至图像分类网络模型中，进行特征提取及图像分类，该网络模型以预训练的ResNet18网络作为图像分类网络模型的主干网络，利用主干网络提取预处理后的脑肿瘤MRI图像的初始特征向量。具体的，使用预训练的主干网络提取特征，在本实施例中，使用在ImageNet(ImageNet是用于视觉对象识别算法研究的大型数据集基准)上预训练的ResNet18网络作为主干网络，并取消掉该网络的最后一个下采样层(或称为下采样操作)来增加用于判别MRI图像所属类别的特征数量。特征提取的过程可通过该公式表示为：；其中，/>表示主干网络提取的初始特征向量，/>表示主干网络，以ResNet18为主干网络时，取消掉最后一个下采样后所提取的特征/>的大小为/>，512为通道数，前后两个14分别为高度和宽度。
步骤S4、计算一阶特征和二阶特征。
如图2所示，首先，基于初始特征向量，通过全局平均池化获取脑肿瘤MRI图像的一阶特征向量。具体的，使用全局平均池化来计算一阶特征，将初始特征向量的形状表示为(H,W,C)，其中H=W=14，H、W分别表示高度和宽度，C=512表示通道数。则，全局平均池化的公式为：/>。
上述全局平均池化中，对于每个通道，将该通道上的所有元素相加，然后除以输入的特征图(即初始特征向量)的总像素数(H×W)来获得该通道的平均值，这一步骤将为每个通道生成一个标量值；最终得到一个形状为 C的特征向量，其中每个元素代表一个通道的平均值。最终得到的这个特征向量即一阶特征向量，其可以用作分类器的输入或其他后续层的特征表示。
其次，基于初始特征向量，通过协方差池化获取脑肿瘤MRI图像的二阶特征向量，如图3所示，具体包括以下步骤：
步骤S4.1、通过线性投影操作对初始特征向量的维度进行压缩。
具体的，使用协方差池化作为二阶表示，首先通过一个线性投影操作对初始特征向量的维度进行压缩，以此减少计算量，该线性投影操作可表示为：。
其中，为通道降维可学习参数，即将初始特征向量/>的通道维度从/>降至/>，在本实施例中，/>设置为384，/>表示压缩后的初始特征向量，R表示实数集。
步骤S4.2、利用重塑操作对压缩后的初始特征向量的维度进行分组。
具体的，为了进一步减少计算消耗，使用一个重塑操作来对特征向量的维度进行分组，以符号来表示特征向量的大小，即，重塑操作的计算过程为：。
其中，表示重塑操作，通过重塑操作，对/>进行分组，分组后的特征向量记为/>，M表示分组的数量，在本实施例中，该分组数量M=4。
步骤S4.3、针对分组后的每一组的特征向量，分别进行协方差池化，得到协方差矩阵。
具体的，在每个组上分别计算协方差池化，首先将分组后每组的特征矩阵记为，即/>表示分组后第i个组的特征，/>，/>表示分组后的特征/>的维度；然后对/>的空间维度执行展平操作，即此时/>，在本实施例中进行展平操作得到/>；最后，在每组上的协方差计算过程如下式所示：/>；其中，，/>和/>分别表示/>的单位矩阵和全1矩阵，/>。
步骤S4.4、利用L2归一化方法对所有协方差矩阵进行归一化操作。
具体的，在计算协方差之后，使用L2归一化方法对协方差矩阵进行归一化操作，以此来保证特征尺度一致性并降低噪声敏感度，得到归一化操作后的协方差矩阵为。
步骤S4.5、拼接归一化后的多组协方差矩阵，获得最终的协方差矩阵。
具体的，在每组特征单独计算完成二阶之后，使用cat的方式将其拼接在一起，以获得最终的协方差矩阵A，可表示为：；其中，最终得到的协方差矩阵A的大小为/>。
步骤S4.6、基于最终的协方差矩阵，依次通过下采样操作和展平操作，得到图像的二阶特征向量。具体的，对最终得到的协方差矩阵A，通过两个连续的卷积操作来执行下采样操作，这两个卷积操作的设置均为卷积核大小为3×3、步距为2，在下采样之后进行展平操作以进行最终的分类。在本实施例中，经过下采样和展平操作后的A是一个大小为2116的向量(即二阶特征向量)，可用于最终的结果预测。
步骤S5、联合预测。基于一阶特征向量和二阶特征向量，通过对应的分类器分别进行类别预测，再将两种类别预测结果相加融合，得到最终的待分类的脑肿瘤MRI图像的分类结果。具体的，联合预测的过程可表示为：。
其中，和/>表示用于分类的特征矩阵，实际上，/>和/>的实现是两个不同的全连接层，该全连接层作为分类器，其输入的维度大小是特征/>和/>的维度数量，即512和2116，其输出的维度大小则是分类的类别数量，在本实施例中，该输出的维度等于3，即最终预测的类别数量；/>和/>分别表示一阶特征向量和二阶特征向量。通过上述分别相乘进行预测，再将预测结果相加的方式进行融合，融合得到最终的分类预测结果/>。在本实施例中，脑肿瘤MRI图像的类型包括脑膜瘤、胶质瘤和垂体瘤。
进一步的，上述图像分类网络模型的训练过程如图4所示，包括准备数据、数据增强、特征提取、计算一阶和二阶特征、联合预测、反向传播训练、验证并保存权重这几个步骤，具体包括：
首先，获取标注不同脑肿瘤类型的脑肿瘤MRI图像数据集。在本实施例中，收集公开的脑肿瘤MRI图像数据集，该数据共有来自233名患有脑肿瘤患者的T1加权对比MRI图像，共3064张，其中包含567张脑膜瘤、1141张胶质瘤和745张垂体瘤。
其次，对图像数据集中的图像进行预处理；该预处理包括图像增强和图像尺寸调整，其中，图像增强方式包括随机水平翻转图像、随机垂直翻转图像以及随机旋转图像等。考虑到数据增强技术可以增加数据的多样性(此处的数据即是指图像，数据增强即图像增强)，提高模型的鲁棒性，因此，在本实施例中，使用随机水平翻转图像、随机垂直翻转图像以及随机旋转图像三种数据增强方式，对输入图像进行图像增强处理，这可以在一定程度上缓解数据集规模过小而引起的过拟合，同时，将图像的输入大小调整为，输入到主干网络中以提取特征。
最后，构建图像分类网络模型，利用预处理后的图像数据集训练该图像分类网络模型，利用反向传播更新网络参数进行学习，直至达到最大迭代次数，完成模型的训练。本实施例中，在网络学习过程中，初始学习率设置为1e-3，批量大小为32，网络在50个epoch(迭代次数)内进行学习，使用带有5个epoch预热的余弦学习率策略调整的AdamW优化器来优化网络的可学习参数。
进一步的，在预处理之前，将图像数据集中的图像划分为训练集和验证集，如下表1所示。对训练集和验证集中的图像进行预处理，利用预处理后的训练集训练图像分类网络模型，利用预处理后的验证集对该训练完成的图像分类网络模型进行验证。具体的，在每个训练的epoch结束后，使用验证集进行验证，通过准确率来评估模型的效果，最后本实施例所述的方法在所使用的数据集上能够实现97.82%的分类识别准确率，达到甚至超越专业从业人员的识别结果。
表1 三种脑肿瘤MRI图像训练和验证样本数量
与现有技术相比，本实施例所提出的方法考虑了此前大部分脑肿瘤MRI图像分类中没有考虑到的二阶建模，通过协方差池化来充分的学习特征表达；通过分组策略来降低二阶建模过程中的计算消耗，加快速度，然后采用协方差池化操作，并在计算协方差池化之后利用下采样操作，以此来进一步降低计算消耗，提升效率；利用联合一阶和二阶特征的方法来进行最终的类别预测，同时考虑全局信息和复杂的空间结构；最后，这一方法在脑肿瘤MRI图像上实现了97.82%的识别准确率，该精度高于现有技术。
实施例二
本实施例提供了一种联合一阶和二阶特征的脑肿瘤MRI图像分类系统，包括：
图像获取及预处理模块，用于获取待分类的脑肿瘤MRI图像，对脑肿瘤MRI图像进行预处理；
初始特征向量提取模块，用于以预训练的ResNet18网络作为图像分类网络模型的主干网络，利用主干网络提取预处理后的脑肿瘤MRI图像的初始特征向量；
一阶特征向量提取模块，用于基于初始特征向量，通过全局平均池化获取脑肿瘤MRI图像的一阶特征向量；
二阶特征向量提取模块，用于基于初始特征向量，通过协方差池化获取脑肿瘤MRI图像的二阶特征向量；
图像分类模块，用于基于一阶特征向量和二阶特征向量，通过对应的分类器分别进行类别预测，再将两种类别预测结果相加融合，得到最终的待分类的脑肿瘤MRI图像的分类结果。
以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例，虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (6)
1.一种联合一阶和二阶特征的脑肿瘤MRI图像分类方法，其特征是，包括：
获取待分类的脑肿瘤MRI图像，对脑肿瘤MRI图像进行预处理；
以预训练的ResNet18网络作为图像分类网络模型的主干网络，利用主干网络提取预处理后的脑肿瘤MRI图像的初始特征向量；其中，将预训练的ResNet18网络作为主干网络时，将预训练的ResNet18网络中最后一个下采样层去除；
基于初始特征向量，通过全局平均池化获取脑肿瘤MRI图像的一阶特征向量；
基于初始特征向量，通过协方差池化获取脑肿瘤MRI图像的二阶特征向量，以此建模特征之间的关系和空间结构，包括：
通过线性投影操作对初始特征向量的维度进行压缩，以减少计算量；
利用重塑操作对压缩后的初始特征向量的维度进行分组，以减少计算消耗；具体的，以符号来表示特征向量的大小，即压缩后的初始特征向量，重塑操作的计算过程为：/>；其中，/>表示重塑操作，通过重塑操作，对/>进行分组，分组后的特征向量记为/>，M表示分组的数量，H、W分别表示高度和宽度，C表示通道数；
针对分组后的每一组的特征向量，分别进行协方差池化，得到协方差矩阵；具体的，在每个组上分别计算协方差池化，首先将分组后每组的特征矩阵记为，即/>表示分组后第i个组的特征，/>，/>表示分组后的特征/>的维度；然后对/>的空间维度执行展平操作，即/>；最后在每组上的协方差计算过程为：/>，其中，/>，/>和/>分别表示/>的单位矩阵和全1矩阵，/>；
利用L2归一化方法对所有协方差矩阵进行归一化操作；
拼接归一化后的多组协方差矩阵，获得最终的协方差矩阵；
基于最终的协方差矩阵，依次通过下采样操作和展平操作，得到图像的二阶特征向量；
基于一阶特征向量和二阶特征向量，通过对应的分类器分别进行类别预测，再将两种类别预测结果相加融合，得到最终的待分类的脑肿瘤MRI图像的分类结果；具体的，联合预测的过程为：；
其中，和/>表示用于分类的特征矩阵，实际上/>和/>的实现是两个不同的全连接层，该全连接层作为分类器，其输入的维度大小是特征/>和/>的维度数量，其输出的维度大小则是分类的类别数量，/>和/>分别表示一阶特征向量和二阶特征向量。
2.如权利要求1所述的联合一阶和二阶特征的脑肿瘤MRI图像分类方法，其特征是，所述预处理包括对脑肿瘤MRI图像进行图像尺寸调整。
3.如权利要求1所述的联合一阶和二阶特征的脑肿瘤MRI图像分类方法，其特征是，所述图像分类网络模型的训练过程包括：
获取标注不同脑肿瘤类型的脑肿瘤MRI图像数据集；
对图像数据集中的图像进行预处理，包括图像增强和图像尺寸调整；
构建图像分类网络模型，利用预处理后的图像数据集训练所述图像分类网络模型，利用反向传播更新网络参数进行学习，直至达到最大迭代次数，完成模型的训练。
4.如权利要求3所述的联合一阶和二阶特征的脑肿瘤MRI图像分类方法，其特征是，所述图像增强包括随机水平翻转图像、随机垂直翻转图像以及随机旋转图像。
5.一种联合一阶和二阶特征的脑肿瘤MRI图像分类系统，其特征是，包括：
图像获取及预处理模块，用于获取待分类的脑肿瘤MRI图像，对脑肿瘤MRI图像进行预处理；
初始特征向量提取模块，用于以预训练的ResNet18网络作为图像分类网络模型的主干网络，利用主干网络提取预处理后的脑肿瘤MRI图像的初始特征向量；其中，将预训练的ResNet18网络作为主干网络时，将预训练的ResNet18网络中最后一个下采样层去除；
一阶特征向量提取模块，用于基于初始特征向量，通过全局平均池化获取脑肿瘤MRI图像的一阶特征向量；
二阶特征向量提取模块，用于基于初始特征向量，通过协方差池化获取脑肿瘤MRI图像的二阶特征向量，以此建模特征之间的关系和空间结构，包括：
通过线性投影操作对初始特征向量的维度进行压缩，以减少计算量；
利用重塑操作对压缩后的初始特征向量的维度进行分组，以减少计算消耗；具体的，以符号来表示特征向量的大小，即压缩后的初始特征向量，重塑操作的计算过程为：/>；其中，/>表示重塑操作，通过重塑操作，对/>进行分组，分组后的特征向量记为/>，M表示分组的数量，H、W分别表示高度和宽度，C表示通道数；
针对分组后的每一组的特征向量，分别进行协方差池化，得到协方差矩阵；具体的，在每个组上分别计算协方差池化，首先将分组后每组的特征矩阵记为，即/>表示分组后第i个组的特征，/>，/>表示分组后的特征/>的维度；然后对/>的空间维度执行展平操作，即/>；最后在每组上的协方差计算过程为：/>，其中，/>，/>和/>分别表示/>的单位矩阵和全1矩阵，/>；
利用L2归一化方法对所有协方差矩阵进行归一化操作；
拼接归一化后的多组协方差矩阵，获得最终的协方差矩阵；
基于最终的协方差矩阵，依次通过下采样操作和展平操作，得到图像的二阶特征向量；
图像分类模块，用于基于一阶特征向量和二阶特征向量，通过对应的分类器分别进行类别预测，再将两种类别预测结果相加融合，得到最终的待分类的脑肿瘤MRI图像的分类结果；具体的，联合预测的过程为：；其中，/>和/>表示用于分类的特征矩阵，实际上/>和/>的实现是两个不同的全连接层，该全连接层作为分类器，其输入的维度大小是特征/>和/>的维度数量，其输出的维度大小则是分类的类别数量，/>和/>分别表示一阶特征向量和二阶特征向量。
6.如权利要求5所述的联合一阶和二阶特征的脑肿瘤MRI图像分类系统，其特征是，所述预处理包括对脑肿瘤MRI图像进行图像尺寸调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311753751.6A CN117437493B (zh) | 2023-12-20 | 2023-12-20 | 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311753751.6A CN117437493B (zh) | 2023-12-20 | 2023-12-20 | 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117437493A CN117437493A (zh) | 2024-01-23 |
| CN117437493B true CN117437493B (zh) | 2024-03-29 |
Family
ID=89553819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311753751.6A Active CN117437493B (zh) | 2023-12-20 | 2023-12-20 | 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437493B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104834943A (zh) * | 2015-05-25 | 2015-08-12 | 电子科技大学 | 一种基于深度学习的脑肿瘤分类方法 |
| CN112801040A (zh) * | 2021-03-08 | 2021-05-14 | 重庆邮电大学 | 嵌入高阶信息的轻量级无约束人脸表情识别方法及系统 |
| CN113192076A (zh) * | 2021-04-09 | 2021-07-30 | 湖北工业大学 | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 |
| CN113642698A (zh) * | 2021-06-15 | 2021-11-12 | 中国科学技术大学 | 地球物理测井智能解释方法、系统及存储介质 |
| CN115690522A (zh) * | 2022-12-29 | 2023-02-03 | 湖北工业大学 | 一种基于多池化融合通道注意力的目标检测方法及其应用 |
| CN115760900A (zh) * | 2022-11-01 | 2023-03-07 | 华南理工大学 | 基于ResNet-GCN网络模型的脑胶质瘤恶性程度分级方法 |
| CN116310343A (zh) * | 2023-03-29 | 2023-06-23 | 重庆邮电大学 | 一种基于特征解耦的多模态脑肿瘤mri分割方法 |
| CN116385809A (zh) * | 2023-06-05 | 2023-07-04 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于半监督学习的mri脑肿瘤分类方法及系统 |
| CN117132616A (zh) * | 2023-10-25 | 2023-11-28 | 山东大学 | 一种医学图像器官分割方法、系统及病灶分类系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011160309A1 (zh) * | 2010-06-25 | 2011-12-29 | 中国科学院自动化研究所 | 基于鲁棒统计信息传播的多模态三维磁共振图像脑肿瘤分割方法 |
-
2023
- 2023-12-20 CN CN202311753751.6A patent/CN117437493B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104834943A (zh) * | 2015-05-25 | 2015-08-12 | 电子科技大学 | 一种基于深度学习的脑肿瘤分类方法 |
| CN112801040A (zh) * | 2021-03-08 | 2021-05-14 | 重庆邮电大学 | 嵌入高阶信息的轻量级无约束人脸表情识别方法及系统 |
| CN113192076A (zh) * | 2021-04-09 | 2021-07-30 | 湖北工业大学 | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 |
| CN113642698A (zh) * | 2021-06-15 | 2021-11-12 | 中国科学技术大学 | 地球物理测井智能解释方法、系统及存储介质 |
| CN115760900A (zh) * | 2022-11-01 | 2023-03-07 | 华南理工大学 | 基于ResNet-GCN网络模型的脑胶质瘤恶性程度分级方法 |
| CN115690522A (zh) * | 2022-12-29 | 2023-02-03 | 湖北工业大学 | 一种基于多池化融合通道注意力的目标检测方法及其应用 |
| CN116310343A (zh) * | 2023-03-29 | 2023-06-23 | 重庆邮电大学 | 一种基于特征解耦的多模态脑肿瘤mri分割方法 |
| CN116385809A (zh) * | 2023-06-05 | 2023-07-04 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于半监督学习的mri脑肿瘤分类方法及系统 |
| CN117132616A (zh) * | 2023-10-25 | 2023-11-28 | 山东大学 | 一种医学图像器官分割方法、系统及病灶分类系统 |
Non-Patent Citations (4)
| Title |
|---|
| Review of Brain Tumor Segmentation, Detection and Classification Algorithms in fMRI Images;Tom Philip Pries 等;《2018 International Conference on Computational and Characterization Techniques in Engineering & Sciences》;20181231;300-303 * |
| 吴培良 等.《基于功用性认知的家庭服务机器人技能学习研究》.燕山大学出版社,2022,122-126. * |
| 增强的基于灰度共生矩阵的脑肿瘤MRI图像分类;刘大鹏 等;《CHINESE JOURNAL OF MEDICAL PHYSICS》;20151231;第32卷(第6期);772-776 * |
| 李景文 等.《地表覆盖神经网络分类理论与方法》.北京冶金工业出版社,2022,116-118. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117437493A (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | In ictu oculi: Exposing ai created fake videos by detecting eye blinking | |
| US11849914B2 (en) | Endoscopic image processing method and system, and computer device | |
| US20220051405A1 (en) | Image processing method and apparatus, server, medical image processing device and storage medium | |
| CN111160269A (zh) | 一种人脸关键点检测方法及装置 | |
| CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
| Faraji et al. | Face recognition under varying illuminations using logarithmic fractal dimension-based complete eight local directional patterns | |
| CN109346159B (zh) | 病例图像分类方法、装置、计算机设备及存储介质 | |
| CN111597946B (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| CN113728335A (zh) | 用于3d图像的分类和可视化的方法和系统 | |
| CN114998210B (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
| Luo et al. | Shape constrained network for eye segmentation in the wild | |
| CN112966574A (zh) | 人体三维关键点预测方法、装置及电子设备 | |
| Yang et al. | A robust iris segmentation using fully convolutional network with dilated convolutions | |
| CN112836653A (zh) | 人脸隐私化方法、设备、装置及计算机存储介质 | |
| Zhang et al. | Cascaded feature warping network for unsupervised medical image registration | |
| CN115131503A (zh) | 一种虹膜三维识别的健康监测方法及其系统 | |
| CN113705670A (zh) | 基于磁共振成像和深度学习的脑部图像分类方法及设备 | |
| CN117437493B (zh) | 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 | |
| Pathak et al. | Entropy based CNN for segmentation of noisy color eye images using color, texture and brightness contour features | |
| CN114821205B (zh) | 一种基于多维特征的图像处理方法、装置及设备 | |
| CN114511798B (zh) | 基于transformer的驾驶员分心检测方法及装置 | |
| CN111598144B (zh) | 图像识别模型的训练方法和装置 | |
| JP7270304B2 (ja) | ユーザのバイオメトリック特性を有する画像中の物体を識別することにより当該ユーザのｉｄを検証するための方法、及び当該方法を実施するためのモバイル装置 | |
| CN113517056B (zh) | 医学图像目标区域的识别方法、神经网络模型及应用 | |
| CN117975170A (zh) | 基于大数据的医疗信息处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |