CN116485798B - 一种多模态宫颈癌mri图像自动识别和分割方法及系统 - Google Patents
一种多模态宫颈癌mri图像自动识别和分割方法及系统 Download PDFInfo
- Publication number
- CN116485798B CN116485798B CN202310746598.8A CN202310746598A CN116485798B CN 116485798 B CN116485798 B CN 116485798B CN 202310746598 A CN202310746598 A CN 202310746598A CN 116485798 B CN116485798 B CN 116485798B
- Authority
- CN
- China
- Prior art keywords
- image
- tumor
- magnetic resonance
- module
- nuclear magnetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 206010008342 Cervix carcinoma Diseases 0.000 title claims abstract description 30
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 title claims abstract description 30
- 201000010881 cervical cancer Diseases 0.000 title claims abstract description 30
- 230000011218 segmentation Effects 0.000 title claims abstract description 30
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 52
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 31
- 238000003709 image segmentation Methods 0.000 claims abstract description 24
- 239000010410 layer Substances 0.000 claims description 53
- 238000011176 pooling Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000002356 single layer Substances 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000003902 lesion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 1
- 238000005549 size reduction Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 6
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013427 histology analysis Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种多模态宫颈癌MRI图像自动识别和分割方法及系统。本发明首先获取T2WI、DWI和CE‑T1WI三种模态的核磁共振图像，然后采用基于ConvNeXt网络的图像分类网络对三种模态的核磁共振图像进行分类，预测图像中是否存在肿瘤区域；然后采用基于DoubleU‑Net网络的图像分割网络，对存在肿瘤区域的T2WI、DWI和CE‑T1WI三种模态的核磁共振图像进行分割，得到精准分割的病灶区域图像。本发明基于深度学习方法构建了多模态宫颈癌MRI影像识别与分割一体化模型，为临床应用提供了自动勾画工具，能够解决现有技术方法存在的鲁棒性差以及效率低等技术问题。
Description
技术领域
本发明属于信息技术、医疗技术领域，具体涉及一种多模态宫颈癌MRI图像自动识别和分割方法及系统。
背景技术
目前MRI（磁共振成像）是宫颈癌检查的首选影像学方法。MRI常规检查包括多平面T1加权(T1WI)、T2加权(T2WI)以及扩散加权（DWI）序列，增强（CE）序列对检测小病灶或临近器官浸润有一定帮助。因此有效提取T2WI、DWI和CE-T1WI这三种成像模态的病灶区域信息对后续体积测量、组学分析、放化疗剂量优化、手术计划等科研或临床治疗过程均有重要帮助。
另外，在宫颈癌三维MRI影像中，包含肿瘤的MRI层数通常占比较少，存在正负样本分布不均匀的情况，未经识别直接分割往往导致准确率不高。同时由于宫颈癌病灶的多样性，手动勾画肿瘤感兴趣区域（Region of Interest, ROI）存在一定难度，且耗时费力。
因此设计一种能够有效处理T2WI、DWI和CE-T1WI三种模态图像的自动识别和分割方法，能够帮助影像医生、放疗医生以及妇科临床专家提高工作效率，减轻工作压力。
发明内容
为了解决上述问题，本发明基于深度学习方法，结合ConvNeXt和DoubleU-Net的优势，构建多模态宫颈癌MRI影像识别与分割一体化模型，为临床应用提供病灶自动勾画工具，用于解决现有技术方法存在的鲁棒性差以及效率低等技术问题。
本发明采用的技术方案如下：
一种多模态宫颈癌MRI图像自动分割方法，包括以下步骤：
获取宫颈癌患者的存在肿瘤区域的T2WI、DWI和CE-T1WI三种模态的核磁共振图像；
将所述三种模态的核磁共振图像输入基于DoubleU-Net网络的图像分割网络，得到精准分割的病灶区域图像。
进一步地，所述基于DoubleU-Net网络的图像分割网络包括第一个编码阶段和第二个编码阶段；所述第一个编码阶段包括编码器、空洞卷积池化金字塔模块和解码器；所述第二个编码阶段包括编码器、空洞卷积池化金字塔模块和解码器。
进一步地，所述基于DoubleU-Net网络的图像分割网络采用以下步骤得到精准分割的病灶区域图像：
在第一个编码阶段，采用VGG-19做为编码器，其后连接空洞卷积池化金字塔模块，用于实现图像的多尺度特征提取；解码部分由4个解码块构成，每一个解码块对输入的图像执行2×2双线性上采样，每经过一个解码块，特征图的分辨率尺寸加倍，并与VGG-19编码器端的特征图像进行跳跃连接，拼接跳跃连接从而输出第一个预测图像B1；
在第二个编码阶段，将第一个预测图像B1与输入图像相乘后得到的矩阵作为输入，输入到由4个编码块组成的编码器中，每个编码块都执行两次3×3卷积运算以及两次标准化处理，并且使用整流线性单元激活函数以将非线性引入模型；然后通过压缩激发模块来增强特征图的质量，并通过最大池化层减小特征图的空间尺寸；然后再连入空洞卷积池化金字塔模块，以实现图像的多尺度特征提取；接着进入解码部分，解码部分由4个解码块构成，每一个解码块对输入的图像执行2×2双线性上采样，每经过一个解码块，特征图的分辨率尺寸加倍，通过跳跃连接将两部分编码网络的信息连接起来，得到第二个预测图像B2；最后将第一个预测图像B1和第二个预测图像B2进行级联，得到最终的分割结果。
进一步地，所述获取宫颈癌患者的存在肿瘤区域的T2WI、DWI和CE-T1WI三种模态的核磁共振图像，包括：
将T2WI、DWI和CE-T1WI三种模态的核磁共振图像，输入基于ConvNeXt网络的图像分类网络，通过所述基于ConvNeXt网络的图像分类网络预测图像中是否存在肿瘤区域；
将判断为无肿瘤区域的图像舍弃，得到预测为存在肿瘤区域的三种模态的核磁共振图像，用以输入图像分割网络。
进一步地，所述图像分类网络的训练过程包括：
采集宫颈癌患者的T2WI、DWI和CE-T1WI三种模态的核磁共振图像，将每种模态的单层图像都分类为有肿瘤和无肿瘤两类，共得到T2WI-有肿瘤、T2WI-无肿瘤、DWI-有肿瘤、DWI-无肿瘤、CE-T1WI-有肿瘤和CE-T1WI-无肿瘤共6种标签类型的图像；
将6种标签类型的图像作为训练数据集，输入图像分类网络，以对图像分类网络进行训练，该图像分类网络预测图像中是否存在肿瘤区域。
进一步地，所述图像分类网络包括四个阶段，第一个阶段由卷积层、标准化层和ConvNeXt块组成，第二、三、四个阶段由降采样块和ConvNeXt块组成。
进一步地，所述图像分类网络的处理过程包括：
第一个阶段，输入图像X经过一个步长为4的4×4的卷积层进行降采样，以达到合适的特征映射大小，特征图缩小4倍，通道数不变，得到S1，S1经过标准化层后输入3个ConvNeXt块拼接的模块中；每个ConvNeXt块由步长为1的7×7深度卷积层、标准化层、1×1的卷积层、高斯误差线性单元激活函数以及最后一层1×1的卷积层组成；经过第一阶段的3个ConvNeXt块后的特征图图像大小不变，通道数变为96，得到S2；
第二个阶段，S2首先经过降采样模块进行降采样，经过降采样模块后，通道数不变，特征图图像大小减小一半，得到S3；S3随后经过3个ConvNeXt块拼接的模块中，特征图图像大小不变，通道数为192，得到S4；
第三个阶段，S4同样经过降采样模块，得到通道数不变，维度大小减小一半的特征图S5，S5随后经过9个ConvNeXt块拼接的模块中，特征图图像大小不变，通道数为384，得到S6；
第四个阶段，S6经过降采样模块得到S7，随后经过3个ConvNeXt块拼接的模块，最终得到通道数为768的S8，S8经过全局平均池化层、标准化层以及线性层后，再经过Softmax激活函数，得到输出值，完成图片是否存在肿瘤的二分类识别。
一种多模态宫颈癌MRI图像自动识别和分割系统，其包括：
图像获取模块，用于获取T2WI、DWI和CE-T1WI三种模态的核磁共振图像；
图像分类模块，用于采用基于ConvNeXt网络的图像分类网络，对三种模态的核磁共振图像进行分类，预测图像中是否存在肿瘤区域；
图像分割模块，用于采用基于DoubleU-Net网络的图像分割网络，对存在肿瘤区域的T2WI、DWI和CE-T1WI三种模态的核磁共振图像进行分割，得到精准分割的病灶区域图像。
本发明的有益效果如下：
1）本发明利用ConvNeXt作为图像分类网络，不需要增加额外的移动窗口注意力以及相对位置偏置等特殊结构，既保持了模型的简洁性，又保证了模型精度，并在参数量、吞吐量和内存使用量上与其他模型持平，极大程度的提高了模型的可部署性。
2）本发明利用DoubleU-Net作为图像分割网络，相比于其他模型量级较小，并允许更深的网络来产生更好的分割效果，结构灵活多变，可以方便的集成其他模块。在不同的数据集上均展现出了良好的泛化性能，保证精度的前提下进一步进行结构的精简。
附图说明
图1为本发明基于深度学习方法构建多模态宫颈癌MRI影像识别与分割一体化模型的流程图。
图2为本发明的图像分类网络即ConvNeXt网络的结构示意图。
图3为本发明的ConvNeXt网络的ConvNeXt块的结构示意图。
图4为本发明的ConvNeXt网络的降采样块的结构示意图。
图5为本发明的图像分割网络即DoubleU-Net网络的结构示意图。
实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。
本发明的一个实施例中，提供一种多模态宫颈癌MRI图像自动识别和分割方法，该技术方案的流程如图1所示，包括以下步骤：
步骤1：采集宫颈癌患者的T2WI、DWI和CE-T1WI三种模态的核磁共振图像，将每种模态的单层图像都分类为有肿瘤和无肿瘤两类，共得到T2WI-有肿瘤、T2WI-无肿瘤、DWI-有肿瘤、DWI-无肿瘤、CE-T1WI-有肿瘤和CE-T1WI-无肿瘤6种标签类型的图像。其中，每种模态的单层图像可以通过对核磁共振图像进行切片得到。
步骤2：将6种标签类型的图像作为训练数据集，分别输入图像分类网络，以对图像分类网络进行训练，该图像分类网络预测图像中是否存在肿瘤区域。图像分类网络采用基于ConvNeXt网络的分类方法，骨干网络被分为四个不同的阶段，第一个阶段由卷积层、标准化层和ConvNeXt块组成，第二、三、四个阶段由降采样块和ConvNeXt块组成。
步骤3：基于步骤2，将判断为无肿瘤的图像舍弃，仅将预测为存在肿瘤的三类模态图像分别纳入图像分割网络，得到精准分割的病灶区域图像Y1-Y3，即图1中右侧的三个分割结果，包括DWI分割结果、T2分割结果和CE-T1分割结果。图像分割网络采用基于DoubleU-Net网络的图像分割方法，分别经过由VGG19作为编码器、4个解码块作为解码器的第一个阶段和由4个编码块作为编码器、4个解码块作为解码器的第二个阶段得到两个分割图像B1-B2，将两个分割图像级联后得到最终的分割结果。
步骤4：利用步骤1~3对图像分类网络、图像分割网络进行训练，利用训练完成的图像分类网络、图像分割网络对输入的多模态宫颈癌MRI图像进行自动识别和分割，最终得到精准分割的病灶区域图像。
本发明的一个实施例中，上述步骤2具体包括以下内容：
步骤2.1：基于步骤1，将6种标签类型的图像X1-X6分别输入图像分类网络ConvNeXt，如图2所示，根据图像大小将其定义为T×H×W的3维特征数组，表示为：Xi(T×H×W)。
根据读取的待分割MRI图像的大小，将读取到的磁共振图像一般为大小为1×256×256的特征数组，堆叠三次转为JPG格式，重采样后表示为：Xi(3×224×224)，其中第一个维度为3，代表Xi的通道数量，第二个维度和第三个维度均为224，代表Xi的特征图分辨率。
步骤2.2：如图2所示，在ConvNeXt网络中，骨干网络被分为四个不同的阶段，第一个阶段由卷积层、标准化层和ConvNeXt块组成，第二、三、四个阶段由降采样块和ConvNeXt块组成。第一个阶段，输入图像X经过一个步长为4的4×4的卷积层进行降采样，以达到合适的特征映射大小，特征图缩小4倍，通道数不变，得到S1（T×H/4×W/4），S1经过标准化层后输入3个ConvNeXt块拼接的模块中。如图3所示，每个ConvNeXt块由步长为1的7×7深度卷积层、标准化层、1×1的卷积层、高斯误差线性单元激活函数以及最后一层1×1的卷积层组成。经过第一阶段的3个ConvNeXt块后的特征图图像大小不变，通道数变为96，得到S2（96×H/4×W/4）。
步骤2.3：第二个阶段，S2首先经过降采样块进行降采样，如图4所示，降采样块由标准化层以及步长为2的2×2卷积层组成。经过降采样块后，通道数不变，特征图图像大小减小一半，得到S3（96×H/8×W/8）。S3随后经过3个ConvNeXt块拼接的模块中，特征图图像大小不变，通道数为192，得到S4（192×H/8×W/8）。
步骤2.4：第三个阶段，S4同样经过降采样块，得到通道数不变，维度大小减小一半的特征图S5（192×H/16×W/16）。S5随后经过9个ConvNeXt块拼接的模块中，特征图图像大小不变，通道数为384，得到S6（384×H/16×W/16）。
步骤2.5：第四个阶段，S6经过降采样块得到S7（384×H/32×W/32），随后经过3个ConvNeXt块拼接的模块，最终得到通道数为768的S8（768×H/32×W/32）。
步骤2.6：S8经过全局平均池化层、标准化层以及线性层后得到D（2×1），D经过Softmax激活函数之后即得到输出值A，完成图片是否存在肿瘤的二分类识别（存在肿瘤或无肿瘤）。
本发明的一个实施例中，上述步骤3具体包括以下内容：
步骤3.1：基于步骤2.6中的得到的图片预测结果，将判断为无肿瘤的图像舍弃，仅将预测为存在肿瘤的三类模态图像切片分别纳入图像分割网络DoubleU-Net，网络结构如图5所示。
步骤3.2：在第一个编码阶段，DoubleU-Net首先是由VGG-19做为子网络的编码器，后面紧接着空洞卷积池化金字塔（ASPP），用于实现图像的多尺度特征提取。解码部分由4个解码块（解码块11~14）构成，每一个解码块对输入的图像执行2×2双线性上采样，每经过一个解码块，特征图的分辨率尺寸加倍，并与VGG-19编码器端的特征图像进行跳跃连接（图2中的虚线箭头），拼接跳跃连接从而输出第一个预测图像B1。
步骤3.3：在第二个编码阶段，将第一个预测图像B1与输入图像相乘后得到的矩阵作为输入，输入到由4个编码块（编码块1~4）组成的编码器中。每个编码块都执行两次3×3卷积运算以及两次标准化处理，并且使用整流线性单元（ReLU）激活函数以将非线性引入模型。随后通过压缩激发模块（SE Block）来增强特征图的质量，步长为2的2×2最大池化层减小特征图的空间尺寸。然后再连入空洞卷积池化金字塔（ASPP）模块，以实现图像的多尺度特征提取，接着进入解码部分。解码部分由4个解码块（解码块21~24）构成，每一个解码块对输入的图像执行2×2双线性上采样，每经过一个解码块，特征图的分辨率尺寸加倍，通过跳跃连接将两部分编码网络（即第一个编码阶段的编码器和第二个编码阶段的编码器）的信息连接起来，得到第二个预测图像B2。最后将第一个预测图像B1和第二个预测图像B2进行级联（串联），得到最终的分割结果Y1-Y3。
本发明的一个实施例中，提供一种基于ConvNeXt网络的识别是否存在肿瘤的多模态宫颈癌图像分类方法，将6种标签类型的图像X1-X6分别输入图像分类网络ConvNeXt，根据图像大小将其定义为T×H×W的3维特征数组，表示为：Xi(T×H×W)。第一个阶段，X经过一个步长为4的4×4的卷积层进行降采样，以达到合适的特征映射大小，特征图缩小4倍，通道数不变，得到S1（T×H/4×W/4），S1经过标准化层后输入3个ConvNeXt块拼接的模块中。每个ConvNeXt块由步长为1的7×7深度卷积层、标准化层、1×1的卷积层、高斯误差线性单元激活函数以及最后一层1×1的卷积层组成。经过第一阶段的3个ConvNeXt块后的特征图图像大小不变，通道数变为96，得到S2（96×H/4×W/4）。第二个阶段，S2首先经过降采样模块进行降采样，降采样模块由标准化层以及步长为2的2×2卷积层组成。经过降采样模块后，通道数不变，特征图图像大小减小一半，得到S3（96×H/8×W/8）。S3随后经过3个ConvNeXt块拼接的模块中，特征图图像大小不变，通道数为192，得到S4（192×H/8×W/8）。第三个阶段，S4同样经过降采样模块，得到通道数不变，维度大小减小一半的特征图S5（192×H/16×W/16）。S5随后经过9个ConvNeXt块拼接的模块中，特征图图像大小不变，通道数为384，得到S6（384×H/16×W/16）。第四个阶段，S6经过降采样模块得到S7（384×H/32×W/32），随后经过3个ConvNeXt块拼接的模块，最终得到通道数为768的S8（768×H/32×W/32）。S8经过全局平均池化层，标准化层以及线性层后得到D（2×1），D经过Softmax激活函数之后即得到输出值A，完成图片是否存在肿瘤的二分类识别（存在肿瘤或无肿瘤）。
本发明的一个实施例中，提供一种基于DoubleU-Net网络的多模态宫颈癌图像分割方法，在第一个编码阶段，DoubleU-Net首先是由VGG-19做为子网络的编码器，后面紧接着空洞卷积池化金字塔（ASPP）。解码部分由4个解码块构成，每一个解码块对输入的图像执行2×2双线性上采样，每经过一个解码块，特征图的分辨率尺寸加倍，并拼接跳跃连接输出第一个预测图像B1。在第二个编码阶段，将第一个预测图像B1与输入图像相乘后得到的矩阵作为输入，输入到由4个编码块组成的编码器中。每个编码块都执行两次3×3卷积运算后以及两次标准化处理，并且使用整流线性单元（ReLU）激活函数以将非线性引入模型。随后分别通过压缩激发模块（SE Block）和步长为2的2×2最大池化层来增强特征图的质量的同时减小特征图的空间尺寸。然后再连入空洞卷积池化金字塔（ASPP）模块，以实现图像的多尺度特征提取，接着进入解码部分。解码部分由4个解码块构成，每一个解码块对输入的图像执行2×2双线性上采样，每经过一个解码块，特征图的分辨率尺寸加倍，通过跳跃连接将两部分编码网络的信息连接起来，得到第二个预测图像B2。最后将第一个预测图像B1和第二个预测图像B2进行级联，得到最终的分割结果Y1-Y3。
采用本发明方法得到的多模态宫颈癌MRI图像自动识别结果如表1所示，采用本发明方法得到的多模态宫颈癌MRI图像自动分割结果如表2所示。
表1. 多模态宫颈癌MRI图像自动识别结果
表2. 多模态宫颈癌MRI图像自动分割结果
本发明的一个实施例中，提供一种多模态宫颈癌MRI图像自动识别和分割系统，其包括：
图像获取模块，用于获取T2WI、DWI和CE-T1WI三种模态的核磁共振图像；
图像分类模块，用于采用基于ConvNeXt网络的图像分类网络，对三种模态的核磁共振图像进行分类，预测图像中是否存在肿瘤区域；
图像分割模块，用于采用基于DoubleU-Net网络的图像分割网络，对存在肿瘤区域的T2WI、DWI和CE-T1WI三种模态的核磁共振图像进行分割，得到精准分割的病灶区域图像。
其中各模块的具体实施过程参见前文对本发明方法的描述。
本发明的一个实施例中，提供一种计算机设备（计算机、服务器、智能手机等），其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。
本发明的一个实施例中，提供一种计算机可读存储介质（如ROM/RAM、磁盘、光盘），所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。
以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。
Claims (6)
1.一种多模态宫颈癌MRI图像自动分割方法，其特征在于，包括以下步骤：
获取宫颈癌患者的存在肿瘤区域的T2WI、DWI和CE-T1WI三种模态的核磁共振图像；
将所述三种模态的核磁共振图像分别输入基于DoubleU-Net网络的图像分割网络，得到精准分割的病灶区域图像；
所述获取宫颈癌患者的存在肿瘤区域的T2WI、DWI和CE-T1WI三种模态的核磁共振图像，包括：
将T2WI、DWI和CE-T1WI三种模态的核磁共振图像，输入基于ConvNeXt网络的图像分类网络，通过所述基于ConvNeXt网络的图像分类网络预测核磁共振图像中是否存在肿瘤区域；
将判断为无肿瘤区域的核磁共振图像舍弃，得到预测为存在肿瘤区域的三种模态的核磁共振图像，用以输入图像分割网络；
所述图像分类网络的训练过程包括：
采集宫颈癌患者的T2WI、DWI和CE-T1WI三种模态的核磁共振图像，将每种模态的单层图像都分类为有肿瘤和无肿瘤两类，共得到T2WI-有肿瘤、T2WI-无肿瘤、DWI-有肿瘤、DWI-无肿瘤、CE-T1WI-有肿瘤和CE-T1WI-无肿瘤共6种标签类型的图像；
将6种标签类型的图像作为训练数据集，输入图像分类网络，以对图像分类网络进行训练，该图像分类网络预测图像中是否存在肿瘤区域；
所述图像分类网络的处理过程包括：
第一个阶段，输入图像X经过一个步长为4的4×4的卷积层进行降采样，通道数不变，得到S1，S1经过标准化层后输入3个ConvNeXt块拼接的模块中；每个ConvNeXt块由步长为1的7×7深度卷积层、标准化层、1×1的卷积层、高斯误差线性单元激活函数以及最后一层1×1的卷积层组成；经过第一阶段的3个ConvNeXt块后的特征图图像大小不变，通道数变为96，得到S2；
第二个阶段，S2首先经过降采样模块进行降采样，经过降采样模块后，通道数不变，特征图图像大小减小一半，得到S3；S3随后经过3个ConvNeXt块拼接的模块，特征图图像大小不变，通道数为192，得到S4；
第三个阶段，S4同样经过降采样模块，得到通道数不变，维度大小减小一半的特征图S5，S5随后经过9个ConvNeXt块拼接的模块，特征图图像大小不变，通道数为384，得到S6；
第四个阶段，S6经过降采样模块得到S7，随后经过3个ConvNeXt块拼接的模块，最终得到通道数为768的S8，S8经过全局平均池化层、标准化层以及线性层后，再经过Softmax激活函数，得到输出值，完成图像X是否存在肿瘤的二分类识别。
2.根据权利要求1所述的方法，其特征在于，所述基于DoubleU-Net网络的图像分割网络包括第一个编码阶段和第二个编码阶段；所述第一个编码阶段包括编码器、空洞卷积池化金字塔模块和解码器；所述第二个编码阶段包括编码器、空洞卷积池化金字塔模块和解码器。
3.根据权利要求2所述的方法，其特征在于，所述基于DoubleU-Net网络的图像分割网络采用以下步骤得到精准分割的病灶区域图像：
在第一个编码阶段，采用VGG-19作为编码器，其后连接空洞卷积池化金字塔模块，用于实现多尺度特征提取；解码器由4个解码块构成，每一个解码块对输入执行2×2双线性上采样，每经过一个解码块，特征图的分辨率尺寸加倍，并与VGG-19编码器端的特征图像进行跳跃连接，拼接跳跃连接从而输出第一个预测图像B1；
在第二个编码阶段，将第一个预测图像B1与第一个编码阶段的输入图像相乘后得到的矩阵作为第二个编码阶段的输入，输入到由4个编码块组成的编码器中，每个编码块都执行两次3×3卷积运算以及两次标准化处理，并且使用整流线性单元激活函数以将非线性引入模型；然后通过压缩激发模块来增强特征图的质量，并通过最大池化层减小特征图的空间尺寸；然后再连入空洞卷积池化金字塔模块，以实现多尺度特征提取；接着进入解码器，解码器由4个解码块构成，每一个解码块对输入执行2×2双线性上采样，每经过一个解码块，特征图的分辨率尺寸加倍，通过跳跃连接将第一个编码阶段的编码器和第二个编码阶段的编码器的信息连接起来，得到第二个预测图像B2；最后将第一个预测图像B1和第二个预测图像B2进行级联，得到最终的分割结果。
4.一种采用权利要求1~3中任一项所述方法的多模态宫颈癌MRI图像自动识别和分割系统，其特征在于，包括：
图像获取模块，用于获取T2WI、DWI和CE-T1WI三种模态的核磁共振图像；
图像分类模块，用于采用基于ConvNeXt网络的图像分类网络，对三种模态的核磁共振图像进行分类，预测核磁共振图像中是否存在肿瘤区域；
图像分割模块，用于采用基于DoubleU-Net网络的图像分割网络，对存在肿瘤区域的T2WI、DWI和CE-T1WI三种模态的核磁共振图像进行分割，得到精准分割的病灶区域图像。
5.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行时，实现权利要求1~3中任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1~3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310746598.8A CN116485798B (zh) | 2023-06-25 | 2023-06-25 | 一种多模态宫颈癌mri图像自动识别和分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310746598.8A CN116485798B (zh) | 2023-06-25 | 2023-06-25 | 一种多模态宫颈癌mri图像自动识别和分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116485798A CN116485798A (zh) | 2023-07-25 |
| CN116485798B true CN116485798B (zh) | 2023-10-13 |
Family
ID=87218148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310746598.8A Active CN116485798B (zh) | 2023-06-25 | 2023-06-25 | 一种多模态宫颈癌mri图像自动识别和分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116485798B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132595B (zh) * | 2023-10-25 | 2024-01-16 | 北京市肿瘤防治研究所 | 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 |
| CN117333725A (zh) * | 2023-11-29 | 2024-01-02 | 中国医学科学院北京协和医院 | 一种基于mri的先天性宫颈畸形分类方法、系统及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| CN112767417A (zh) * | 2021-01-20 | 2021-05-07 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
| CN116188420A (zh) * | 2023-02-21 | 2023-05-30 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于卷积Transformer的多模态医学图像分割方法 |
| CN116229077A (zh) * | 2023-03-13 | 2023-06-06 | 江苏科技大学 | 一种基于改进的Mask-R-CNN网络的数学函数图像实例分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11170508B2 (en) * | 2018-01-03 | 2021-11-09 | Ramot At Tel-Aviv University Ltd. | Systems and methods for the segmentation of multi-modal image data |
-
2023
- 2023-06-25 CN CN202310746598.8A patent/CN116485798B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| CN112767417A (zh) * | 2021-01-20 | 2021-05-07 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
| CN116188420A (zh) * | 2023-02-21 | 2023-05-30 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于卷积Transformer的多模态医学图像分割方法 |
| CN116229077A (zh) * | 2023-03-13 | 2023-06-06 | 江苏科技大学 | 一种基于改进的Mask-R-CNN网络的数学函数图像实例分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| DoubleU-Net: A Deep Convolutional Neural Network for Medical Image Segmentation;Debesh Jha等;2020 IEEE 33rd International Symposium on Computer-Based Medical Systems;第558-564页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116485798A (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116485798B (zh) | 一种多模态宫颈癌mri图像自动识别和分割方法及系统 | |
| CN113870258B (zh) | 一种基于对抗学习的无标签胰腺影像自动分割系统 | |
| CN109978037B (zh) | 图像处理方法、模型训练方法、装置、和存储介质 | |
| CN111429460B (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
| US8811697B2 (en) | Data transmission in remote computer assisted detection | |
| CN111563897B (zh) | 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置 | |
| CN111429473B (zh) | 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 | |
| CN111754520B (zh) | 一种基于深度学习的脑血肿分割方法及系统 | |
| CN111951288B (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN113159056B (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN114119977A (zh) | 一种基于图卷积的Transformer胃癌癌变区域图像分割方法 | |
| CN112766377B (zh) | 左心室磁共振影像智能分类方法、装置、设备和介质 | |
| CN107688783B (zh) | 3d图像检测方法、装置、电子设备及计算机可读介质 | |
| CN112950639B (zh) | 一种基于SA-Net的MRI医学图像分割方法 | |
| CN111291825A (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| CN117132595B (zh) | 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 | |
| CN111462146A (zh) | 一种基于时空智能体的医学图像多模态配准方法 | |
| CN116912503A (zh) | 一种基于层级融合策略的多模态mri脑肿瘤语义分割方法 | |
| CN116205967A (zh) | 医学影像语义分割方法、装置、设备及介质 | |
| CN116758102A (zh) | 一种基于CNN与Transformer的超声图像分割方法 | |
| CN113409324B (zh) | 一种融合微分几何信息的脑分割方法 | |
| CN113689435B (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN114119558B (zh) | 一种自动生成鼻咽癌影像诊断结构化报告方法 | |
| CN116309679A (zh) | 一种适用于多种模态的类mlp医学影像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Xia Shaojun Inventor after: Yang Qingmo Inventor after: Wang Zhinan Inventor after: Zhao Bo Inventor after: Li Qingyang Inventor after: Kong Xiangxing Inventor after: Sun Yingshi Inventor after: Cao Kun Inventor after: Zhang Xiaoyan Inventor after: Zhu Haitao Inventor after: Li Xiaoting Inventor before: Xia Shaojun Inventor before: Kong Xiangxing Inventor before: Wang Zhinan Inventor before: Sun Yingshi Inventor before: Zhu Haitao Inventor before: Zhang Xiaoyan Inventor before: Li Xiaoting Inventor before: Lin Tianye Inventor before: Yang Qingmo |