CN117132595A - 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 - Google Patents
一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 Download PDFInfo
- Publication number
- CN117132595A CN117132595A CN202311387594.1A CN202311387594A CN117132595A CN 117132595 A CN117132595 A CN 117132595A CN 202311387594 A CN202311387594 A CN 202311387594A CN 117132595 A CN117132595 A CN 117132595A
- Authority
- CN
- China
- Prior art keywords
- image
- tumor
- cancer
- dual
- lightweight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010008342 Cervix carcinoma Diseases 0.000 title claims abstract description 65
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 title claims abstract description 65
- 201000010881 cervical cancer Diseases 0.000 title claims abstract description 65
- 208000015634 Rectal Neoplasms Diseases 0.000 title claims abstract description 54
- 206010038038 rectal cancer Diseases 0.000 title claims abstract description 53
- 201000001275 rectum cancer Diseases 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 151
- 238000003709 image segmentation Methods 0.000 claims abstract description 49
- 201000011510 cancer Diseases 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 25
- 239000010410 layer Substances 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 239000002356 single layer Substances 0.000 claims description 9
- 206010009944 Colon cancer Diseases 0.000 claims description 7
- 208000001333 Colorectal Neoplasms Diseases 0.000 claims description 7
- 230000009977 dual effect Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000003902 lesion Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000010354 integration Effects 0.000 abstract description 2
- 238000002597 diffusion-weighted imaging Methods 0.000 description 40
- 230000005540 biological transmission Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 239000011664 nicotinic acid Substances 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 231100000504 carcinogenesis Toxicity 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Processing (AREA)
Abstract
本发明属于信息技术、医疗技术领域，具体涉及一种直肠癌及宫颈癌DWI图像智能轻量处理方法和系统。该方法包括：将DWI核磁共振图像输入MobileViT双肿瘤轻量化图像分类网络，得到图像的识别结果，包括所属的癌症类型以及否存在肿瘤的判断结果；所述癌症类型包括直肠癌和宫颈癌；将识别为无肿瘤的图像筛除，将存在肿瘤的图像输入UNeXt双肿瘤轻量化图像分割网络，得到精准分割的直肠癌病灶和宫颈癌病灶。本发明具有一体化和轻量化的显著优势，能够减轻医生在诊断和描绘肿瘤方面的工作量。本发明中两种癌症的图像可分别由图像工作站和医生移动终端发送，分割结果可同时发往图像工作站和医生移动终端，使用便捷，拓展了临床应用范围。
Description
技术领域
本发明属于信息技术、医疗技术领域，具体涉及一种面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理方法和系统。
背景技术
结直肠癌的发病率和死亡率近年来明显提高，是世界上第三大常见癌症，也是癌症死亡的第二大原因。
早期诊断和早期治疗是提高癌症患者健康水平和改善预后的关键。磁共振由于极好的软组织分辨率现已成为这两种癌症的首选影像学方法。其中DWI（Diffusion WeightedImaging，扩散加权成像）序列近年来得到了越来越广泛的应用并被整合入常规扫描序列中。DWI是一种能够反映活体水分子扩散能力的功能成像技术，肿瘤组织由于细胞结构致密而致水分子扩散运动受限，在DWI序列上呈高信号而被突出显示，因此DWI序列能够准确地区分肿瘤组织与周围正常组织，是一种非常适合检测恶性肿瘤的技术。
由于直肠与宫颈位置靠近，开发能够自动识别与分割两种肿瘤病灶的联合模型并且能够在轻量化的移动端使用，对于处理直肠癌患者图像、宫颈癌患者图像或者两者互相转移患者的图像均具有重要价值，有助于减轻影像医生的工作负担。同时，通过智能轻量处理系统有效获得两种癌症DWI图像的病灶信息，在病灶分期、疗效评估、预后预测及放化疗辅助等多方面有重要作用，有助于推进数字化医疗和精准医疗的实现。
发明内容
本发明针对上述问题，提供一种面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理方法和系统。
本发明采用的技术方案如下：
一种面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理方法，包括以下步骤：
将DWI核磁共振图像输入MobileViT双肿瘤轻量化图像分类网络，得到图像的识别结果，包括所属的癌症类型以及否存在肿瘤的判断结果；所述癌症类型包括直肠癌和宫颈癌；
将识别为无肿瘤的图像筛除，将存在肿瘤的图像输入UNeXt双肿瘤轻量化图像分割网络，得到精准分割的直肠癌病灶和宫颈癌病灶。
进一步地，所述MobileViT双肿瘤轻量化图像分类网络基于MobileViT网络进行图像分类，包含卷积层、MobileNetv2块、MobileViT块、下采样层、全局池化层和线性层，输出4分类结果；所述MobileViT双肿瘤轻量化图像分类网络的训练过程包括：
分别采集结直肠癌和宫颈癌患者的DWI核磁共振图像，将2种癌症的3D DWI图像进行切片得到单层的2D图像，2种癌症的单层2D图像都包含为有肿瘤和无肿瘤两类，共得到直肠癌DWI-有肿瘤图像、直肠癌DWI-无肿瘤图像、宫颈癌DWI-有肿瘤图像、宫颈癌DWI-无肿瘤图像4种标签类型的图像；
将4种标签类型的图像分别输入MobileViT双肿瘤轻量化图像分类网络，得到图像的识别结果，包括所属的癌症类型以及否存在肿瘤的判断结果。
进一步地，对所述MobileViT双肿瘤轻量化图像分类网络进行结构优化，所述结构优化包含下列中的至少一种：
第一种：将MobileViT块中的卷积替换为深度可分离卷积操作以减轻计算负担，并且省略原结构中的残差结构和特征融合部分；
第二种：将MobileViT块中的卷积替换为深度可分离卷积操作，将原MobileViT块中特征融合部分的输入端后移至Transformer块之前，将特征融合部分中的卷积层改为1x1卷积层，并将Transformer块的输入图像与特征融合部分的结果再次相加。
进一步地，所述UNeXt双肿瘤轻量化图像分割网络基于UNeXt网络进行图像分割，包括卷积阶段和标识化MLP阶段；输入图像进入编码器，经过3个卷积块、2个标识化MLP块进入解码器，然后经过2个标识化MLP块、3个卷积块；每个编码块将特征分辨率减小1/2，并且每个解码块将特征分辨率增大2倍，每层的编码块和解码块之间含有跳跃连接；各个卷积块、标识化MLP块上的图像通道深度表示为C1到C5，参数值为：C1=32、C2=64、C3=128、C4=160和C5=256。
进一步地，设H、W分别代表图像的高和宽的像素点数量，所述UNeXt双肿瘤轻量化图像分割网络的处理过程包括：
在UNeXt网络的编码卷积阶段，经过2D卷积+批归一化+线性整流函数后，得到大小
为××C1的图像I8，图像I8经过最大池化和2D卷积+批归一化+线性整流函数后，大小
变为××C2，表示为图像I9，接着再进行一次最大池化和2D卷积+批归一化+线性整流
函数后，得到图像I10，大小减小到××C3；
在编码MLP阶段，基于图像I10进行最大池化和标识化MLP块后，得到图像I11，其大
小为××C4，图像I11再次进行最大池化和标识化MLP块后获得大小为××C5的图
像I12；
在解码MLP阶段，图像I12经过标识化MLP块和上采样后大小变为××C4，表示
为图像I13，其重复进行标识化MLP块和上采样后获得大小为××C3的图像I14；
在解码卷积阶段，图像I14经过2D卷积+批归一化+线性整流函数和上采样后，得到
图像I15，其大小为××C2，图像I15进行一次2D卷积+批归一化+线性整流函数和上采
样后，得到大小为××C1的图像I16，最后输出大小为H×W的预测图像I17，即直肠癌或
宫颈癌的病灶分割结果。
进一步地，对所述UNeXt双肿瘤轻量化图像分割网络的处理步骤进行优化，优化后的步骤包括：
在得到维度为××C4的图像I13后，通过反卷积将维度变为××C3，得到
图像J1；
将图像J1与图像I14叠加，得到维度为××C3的图像J2，图像J2通过反卷积将
维度变为××C2，得到图像J3；
将图像J3与图像I15叠加，得到维度为××C2的图像J4，通过反卷积将维度变
为××C1，得到图像J5；
将图像J5与图像I16叠加，得到维度为××C1的J6图像，最后J6图像通过反卷
积和I17图像叠加，得到直肠癌或宫颈癌的病灶分割结果J7。
进一步地，所述MobileViT双肿瘤轻量化图像分类网络和所述UNeXt双肿瘤轻量化图像分割网络在训练过程包括：
在双肿瘤轻量化图像分类阶段，采用的分类损失函数为总体分类交
叉熵损失、直肠癌DWI图片分类交叉熵损失和宫颈癌分类交叉熵损
失之和；
在双肿瘤轻量化图像分割阶段，采用两通道的损失函数即直肠癌图像分割损失函
数和宫颈癌图像分割损失函数，该两
通道的损失函数分别为分割交叉熵损失和分割Dice损失之和；
在训练阶段，采用分阶段训练＋组合调试的方式，首先将MobileViT双肿瘤轻量化图像分类网络的性能训练到最优，进而将两通道的UNeXt双肿瘤轻量化图像分割网络的性能训练到最优，之后进行组合调试以检验整体性能，并通过与医生的人工处理时间对比来反向优化各参数。
进一步地，所述DWI核磁共振图像存储于图像工作站或者医生移动终端；所述MobileViT双肿瘤轻量化图像分类网络和所述UNeXt双肿瘤轻量化图像分割网络部署于移动端中央处理设备；所述移动端中央处理设备将图像分类结果和图像分割结果发送至图像工作站或医生移动终端。
一种面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理系统，其包括：
图像分类模块，用于采用MobileViT双肿瘤轻量化图像分类网络对DWI核磁共振图像进行识别，得到图像的识别结果，包括所属的癌症类型以及否存在肿瘤的判断结果；所述癌症类型包括直肠癌和宫颈癌；
图像分割模块，用于采用UNeXt双肿瘤轻量化图像分割网络对存在肿瘤的图像进行分割，得到精准分割的直肠癌病灶和宫颈癌病灶。
一种移动端，所述移动端中部署上述面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理系统。
本发明的有益效果如下：
1. 本发明设计了MobileViT双肿瘤轻量化图像分类网络。由于MobileViT采用Transformer编码器来对特征进行编码和交互，能够有效地提取图像的语义信息，从而实现高精度的图像分类；分类网络结构非常灵活，可以根据不同的应用场景进行自由组合和调整，具有很高的可扩展性；相较于传统需要在工作站GPU上运行的深度学习模型，分类网络模型拥有更少的计算量和参数数量，模型非常轻量级，适合在移动设备上进行实时的图像分类任务，具有很强的实时性。
2. 本发明设计了UNeXt双肿瘤轻量化图像分割网络，相比于传统UNet模型轻量级较小，在保证分割精度的前提下结构更加精简，采用更少的卷积层、更大的特征尺寸下采样幅度，减少了获取结果的时间，有利于实际场景的应用。此外结构灵活多变，可以方便地将多个通道的UNeXt网络和前端识别网络进行集成。本分割网络在直肠癌和宫颈癌的DWI图像分割中均展现出了良好泛化的性能。
3. 本发明构建了面向移动端的直肠及宫颈癌DWI图像智能轻量处理系统，具有一体化和轻量化的显著优势，很大程度减轻了人工介入，从而减轻了胃肠肿瘤医生、妇科肿瘤医生及影像科医生在诊断和描绘肿瘤方面的工作量。本发明设计了以iPhone12 A14仿生处理器和Neural Engine神经引擎为处理核心的移端影像中央处理模块以及整体的图像信息传输工作流，两种癌症的图像可分别由图像工作站和医生移动终端发送，分割结果可同时发往图像工作站和医生移动终端，使用便捷，拓展了临床应用范围。
附图说明
图1为本发明结合轻量Transformer网络和轻量卷积神经网络的优势，设计的面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理方法的流程图。
图2为本发明的MobileViT双肿瘤轻量化图像分类网络结构示意图。
图3为本发明的UNeXt双肿瘤轻量化图像分割网络结构示意图，其中输入图像包括直肠癌有肿瘤DWI切片和宫颈癌有肿瘤DWI切片，100表示2D卷积+批归一化+线性整流函数，200表示标识化MLP块。
图4为本发明的硬件及通信传输系统结构示意图。
具体实施方式
下面将结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例仅用于说明本发明，但不限制本发明的范围。
本发明基于深度学习方法，结合轻量Transformer网络和轻量卷积神经网络的优势，设计了一种针对于直肠癌和宫颈癌DWI图像的轻量级图像处理流程，以及可应用于移动端的硬件及通信传输系统。本发明的网络能够同时处理四种类型的DWI切片，旨在帮助放射科医生自动识别和自动分割直肠癌、宫颈癌或两种癌症的患者的DWI图像。该技术方案的整体流程如图1所示，主要包括如下内容：
1. 分别采集结直肠癌和宫颈癌患者的DWI核磁共振图像，将2种癌症的3D DWI图像进行切片得到单层的2D图像，2种癌症的单层2D图像都包含为有肿瘤和无肿瘤两类，共得到直肠癌DWI-有肿瘤图像、直肠癌DWI-无肿瘤图像、宫颈癌DWI-有肿瘤图像、宫颈癌DWI-无肿瘤图像4种标签类型的图像。
2. 将4种标签类型的图像分别输入MobileViT双肿瘤轻量化图像分类网络，得到图像的识别结果，包括所属的癌症类型以及否存在肿瘤的判断结果。MobileViT双肿瘤轻量化图像分类网络是一种自动识别网络，采用基于MobileViT的网络架构，主要包含卷积层、MobileNetv2块、MobileViT块、下采样层、全局池化层和线性层，输出4分类结果。
3. 在经过步骤2的识别后，将2种癌症各自识别为无肿瘤的图像筛除，仅将识别存在肿瘤的2类图像切片分别输入到2路UNeXt双肿瘤轻量化图像分割网络，得到精准分割的直肠癌病灶和宫颈癌病灶。图像分割阶段采用基于UNeXt网络的图像分割方法，UNeXt网络主要包括卷积阶段和标识化的多层感知（MLP）阶段。输入图像通过编码器，经过前3个卷积块，接下来经过2个标识化MLP块。进入解码器后，先经过2个标识化MLP块，随后经过3个卷积块。每个编码块（编码器中的卷积块或标识化MLP块）将特征分辨率减小1/2，并且每个解码块（解码器中的卷积块或标识化MLP块）将特征分辨率增大2倍，每层的编码块和解码块之间含有跳跃连接，并且各个卷积块、标识化MLP块上的图像通道深度可表示为C1到C5，参数值为：C1=32、C2=64、C3=128、C4=160和C5=256。
4：利用步骤1~3对MobileViT双肿瘤轻量化图像分类网络、UNeXt双肿瘤轻量化图像分割网络进行训练，利用训练完成的网络对输入的直肠癌和宫颈癌患者的DWI核磁共振图像进行自动分类和分割，最终得到精准分割的直肠癌和宫颈癌的病灶区域图像。
5. 基于上述网络结构和整体工作流程（图1），本发明还设计了与之匹配的硬件及通信传输系统结构，包括移动端中央处理设备以及整体的图像信息传输工作流（图4），具体流程为：图像工作站/医生移动终端→Mobile ViT双肿瘤轻量化图像分类网络（嵌入到iPhone12设备中）→UNeXt双肿瘤轻量化图像分割网络（嵌入到iPhone12设备中）→直肠癌DWI图像分割结果/宫颈癌DWI图像分割结果→图像工作站/医生移动终端。
本发明的一个实施例中，提供一种面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理方法，包括以下步骤：
步骤1：采集直肠癌和宫颈癌患者的DWI核磁共振图像，将2种癌症的3DDWI图像进行切片得到单层的2D图像，2种癌症的单层2D图像都包含为有肿瘤和无肿瘤两类，共得到直肠癌DWI-有肿瘤图像、直肠癌DWI-无肿瘤图像、宫颈癌DWI-有肿瘤图像、宫颈癌DWI-无肿瘤图像4种标签类型的图像。4种标签类型的图像可存储在图像工作站或者医生移动终端。其中图像工作站是指医院各类型存储图像的服务器，医生移动终端是指医生各类型智能手机、平板电脑等。
步骤2：对于每张待识别的图像，设为I0，其大小设为H×W（H、W分别代表图像的高和宽的像素点数量）。开始病灶自动识别阶段，将图像通过图像工作站或者医生移动终端发往Mobile ViT双肿瘤轻量化图像分类网络（图2所示），该网络布置在移动端中央处理设备上（图4所示），如智能手机、平板电脑等，通过iPhone12 A14仿生处理器和Neural Engine神经引擎运行。首先对其进行3×3标准卷积和下采样，大小变为128×128，表示为I1。
步骤3：基于步骤2，大小为128×128的I1图像接着经过MobileNetv2 块，然后经过MobileNetv2 块和下采样，得到大小为64×64的图像I2。
步骤4：I2图像经过两次MobileNetv2 块后，再经过一次MobileNetv2 块和下采样后，得到图像I3（32×32）。
步骤5：I3首先经过MobileViT块，其中Transformer块重复进行了两次，之后再经过MobileNetv2 块和下采样后，其大小由32×32变为16×16，表示为I4。如图2所示，L表示Transformer块重复次数，L=2。图2中h、w表示MobileViT块中patch（小块）的高和宽。
步骤6：图像I4同样先经过MobileViT块，此阶段Transformer块重复进行了四次（L=4），接着同样进一次MobileNetv2 块和下采样后，得到大小为8×8的图像I5。
步骤7：I5经过3个Transformer块拼接的MobileViT块，再经过1×1标准卷积，之后进行全局池化和线性层，最后得到大小为1×1的图像I6，随后输出分类结果P，四种可能的类别为直肠癌DWI-有肿瘤图像、直肠癌DWI-无肿瘤图像、宫颈癌DWI-有肿瘤图像、宫颈癌DWI-无肿瘤图像。
步骤8：结束病灶自动识别阶段，进入自动分割阶段。若图像被预测为直肠癌DWI-有肿瘤图像或宫颈癌DWI-有肿瘤图像，进一步输入到UNeXt双肿瘤轻量化图像分割网络（图3所示），该网络布置在移动端中央处理设备上（图4），通过iPhone12 A14仿生处理器和Neural Engine神经引擎运行。将图像设为I7，其大小为H×W，表示为：I7(H×W)；另外后续阶段中特征图像的通道数依次为C1=32、C2=64、C3=128、C4=160和C5=256。
步骤9：在UNeXt网络的编码卷积阶段，经过2D卷积+批归一化+线性整流函数（图3
中的100）后，得到大小为××C1的图像I8，I8经过最大池化和2D卷积+批归一化+线性
整流函数后，大小变为××C2，表示为图像I9，接着再进行一次最大池化和2D卷积+批
归一化+线性整流函数后，得到图像I10，大小减小到××C3。其中，“2D卷积+批归一化+
线性整流函数”这三者一起可以称为一个“卷积块”。
步骤10：编码MLP阶段，基于步骤9中的I10图像，进行最大池化和标识化MLP块（图3
中的200）后，得到I11图像，其大小为××C4，图像I11再次进行最大池化和标识化MLP
块后获得大小为××C5的图像I12。
步骤11：解码MLP阶段，图像I12经过标识化MLP块和上采样后大小变为××
C4，表示为I13，其重复进行标识化MLP块和上采样后获得大小为××C3的图像I14。
步骤12：解码卷积阶段，图像I14经过2D卷积+批归一化+线性整流函数和上采样
后，得到I15，其大小为××C2，I15同样进行一次2D卷积+批归一化+线性整流函数和上
采样后，得到大小为××C1的I16图像，最后输出预测图像I17，即直肠癌或宫颈癌的病
灶分割结果，大小为H×W，表示为：I17(H×W)。
步骤13：结束自动分割阶段，开始结果传送阶段。整理步骤7得到的分类结果P和步骤12得到的分割结果图像I17，根据医生阅览场所需要，由移动端中央处理设备iPhone12发往图像工作站或医生移动终端，或同时发往两者。
本发明的一个实施例中，图3所示的UNeXt双肿瘤轻量化图像分割网络均可在网络
后端加入优化模块。具体步骤为，在原网络得到维度为××C4的I13图像后，通过反卷
积将维度变为××C3，得到图像J1，并与I14图像叠加，得到维度为××C3的J2图
像，J2图像通过反卷积将维度变为××C2，得到图像J3，并与I15图像叠加，得到维度为××C2的J4图像，通过反卷积将维度变为××C1，得到图像J5，并与I16图像叠加，
得到维度为××C1的J6图像，最后J6图像通过反卷积和I17图像叠加，得到分割结果
J7，即直肠癌或宫颈癌的病灶分割结果。这些新增加的步骤有深度监督的作用，能够对网络
训练起到优化作用。
本发明的一个实施例中，图1所示的MobileViT双肿瘤轻量化图像分类网络进行结构上的2种优化选择：
1）结构简化：将MobileViT块中的常规卷积替换为深度可分离卷积操作，进一步减轻计算负担，并且可以省略原结构中的残差结构和特征融合部分。
2）特征融合优化：将MobileViT块中的常规卷积替换为深度可分离卷积操作，将原MobileViT块的结构中特征融合部分（即融合块）的输入端后移至Transformer块之前，并且将特征融合部分中的卷积层改为1x1卷积层，并将MobileViT块的输入图像与特征融合部分的结果再次相加。其中特征融合部分、Transformer块是MobileViT块内部的结构。
本发明的一个实施例中，设计了特有的损失函数和模型训练流程。首先设计了两阶损失函数：
在双肿瘤轻量化图像分类阶段，分类损失函数为总体分类交叉熵损
失、直肠癌DWI图片分类交叉熵损失和宫颈癌分类交叉熵损失之和，其中分别为权重因子。
在双肿瘤轻量化图像分割阶段，两通道的损失函数即直肠癌图像分割损失函数和宫颈癌图像分割损失函数，分别为
分割交叉熵损失和分割Dice损失之和，其中分别为权重因子。
在训练阶段，采用分阶段训练＋组合调试的方式，首先将MobileViT双肿瘤轻量化图像分类网络的性能训练到最优，进而两通道的UNeXt轻量化图像分割网络性能训练到最优，之后进行组合调试，检验系统的整体性能，并与医生的人工处理时间对比，进一步反向优化各参数。
本发明的关键技术包括：
1. 设计的面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理系统的整体流程；
2. MobileViT双肿瘤轻量化图像分类网络；
3. UNeXt双肿瘤轻量化图像分割网络；
4. 与网络设计匹配的硬件及通信传输系统结构，包括移端中央处理设备以及整体的图像信息传输工作流。
本发明的另一个实施例提供一种面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理系统，其包括：
图像分类模块，用于采用MobileViT双肿瘤轻量化图像分类网络对DWI核磁共振图像进行识别，得到图像的识别结果，包括所属的癌症类型以及否存在肿瘤的判断结果；所述癌症类型包括直肠癌和宫颈癌；
图像分割模块，用于采用UNeXt双肿瘤轻量化图像分割网络对存在肿瘤的图像进行分割，得到精准分割的直肠癌病灶和宫颈癌病灶。
其中各模块的具体实施过程参见前文对本发明方法的描述。
本发明的另一个实施例提供一种移动端（智能手机、平板电脑等），所述移动端中部署上述面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理系统。
本发明的另一实施例提供一种计算机设备（计算机、服务器、智能手机等），其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。
本发明的另一实施例提供一种计算机可读存储介质（如ROM/RAM、磁盘、光盘），所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。
以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。
Claims (10)
1.一种面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理方法，其特征在于，包括以下步骤：
将DWI核磁共振图像输入MobileViT双肿瘤轻量化图像分类网络，得到图像的识别结果，包括所属的癌症类型以及否存在肿瘤的判断结果；所述癌症类型包括直肠癌和宫颈癌；
将识别为无肿瘤的图像筛除，将存在肿瘤的图像输入UNeXt双肿瘤轻量化图像分割网络，得到精准分割的直肠癌病灶和宫颈癌病灶。
2.根据权利要求1所述的方法，其特征在于，所述MobileViT双肿瘤轻量化图像分类网络基于MobileViT网络进行图像分类，包含卷积层、MobileNetv2块、MobileViT块、下采样层、全局池化层和线性层，输出4分类结果；所述MobileViT双肿瘤轻量化图像分类网络的训练过程包括：
分别采集结直肠癌和宫颈癌患者的DWI核磁共振图像，将2种癌症的3D DWI图像进行切片得到单层的2D图像，2种癌症的单层2D图像都包含为有肿瘤和无肿瘤两类，共得到直肠癌DWI-有肿瘤图像、直肠癌DWI-无肿瘤图像、宫颈癌DWI-有肿瘤图像、宫颈癌DWI-无肿瘤图像4种标签类型的图像；
将4种标签类型的图像分别输入MobileViT双肿瘤轻量化图像分类网络，得到图像的识别结果，包括所属的癌症类型以及否存在肿瘤的判断结果。
3.根据权利要求2所述的方法，其特征在于，对所述MobileViT双肿瘤轻量化图像分类网络进行结构优化，所述结构优化包含下列中的至少一种：
第一种：将MobileViT块中的卷积替换为深度可分离卷积操作以减轻计算负担，并且省略原结构中的残差结构和特征融合部分；
第二种：将MobileViT块中的卷积替换为深度可分离卷积操作，将原MobileViT块中特征融合部分的输入端后移至Transformer块之前，将特征融合部分中的卷积层改为1x1卷积层，并将Transformer块的输入图像与特征融合部分的结果再次相加。
4.根据权利要求1所述的方法，其特征在于，所述UNeXt双肿瘤轻量化图像分割网络基于UNeXt网络进行图像分割，包括卷积阶段和标识化MLP阶段；输入图像进入编码器，经过3个卷积块、2个标识化MLP块进入解码器，然后经过2个标识化MLP块、3个卷积块；每个编码块将特征分辨率减小1/2，并且每个解码块将特征分辨率增大2倍，每层的编码块和解码块之间含有跳跃连接；各个卷积块、标识化MLP块上的图像通道深度表示为C1到C5，参数值为：C1=32、C2=64、C3=128、C4=160和C5=256。
5.根据权利要求4所述的方法，其特征在于，设H、W分别代表图像的高和宽的像素点数量，所述UNeXt双肿瘤轻量化图像分割网络的处理过程包括：
在UNeXt网络的编码卷积阶段，经过2D卷积+批归一化+线性整流函数后，得到大小为×/>×C1的图像I8，图像I8经过最大池化和2D卷积+批归一化+线性整流函数后，大小变为×/>×C2，表示为图像I9，接着再进行一次最大池化和2D卷积+批归一化+线性整流函数后，得到图像I10，大小减小到/>×/>×C3；
在编码MLP阶段，基于图像I10进行最大池化和标识化MLP块后，得到图像I11，其大小为×/>×C4，图像I11再次进行最大池化和标识化MLP块后获得大小为/>×/>×C5的图像I12；
在解码MLP阶段，图像I12经过标识化MLP块和上采样后大小变为×/>×C4，表示为图像I13，其重复进行标识化MLP块和上采样后获得大小为/>×/>×C3的图像I14；
在解码卷积阶段，图像I14经过2D卷积+批归一化+线性整流函数和上采样后，得到图像I15，其大小为×/>×C2，图像I15进行一次2D卷积+批归一化+线性整流函数和上采样后，得到大小为/>×/>×C1的图像I16，最后输出大小为H×W的预测图像I17，即直肠癌或宫颈癌的病灶分割结果。
6.根据权利要求5所述的方法，其特征在于，对所述UNeXt双肿瘤轻量化图像分割网络的处理步骤进行优化，优化后的步骤包括：
在得到维度为×/>×C4的图像I13后，通过反卷积将维度变为/>×/>×C3，得到图像J1；
将图像J1与图像I14叠加，得到维度为×/>×C3的图像J2，图像J2通过反卷积将维度变为/>×/>×C2，得到图像J3；
将图像J3与图像I15叠加，得到维度为×/>×C2的图像J4，通过反卷积将维度变为/>×/>×C1，得到图像J5；
将图像J5与图像I16叠加，得到维度为×/>×C1的J6图像，最后J6图像通过反卷积和I17图像叠加，得到直肠癌或宫颈癌的病灶分割结果J7。
7.根据权利要求1所述的方法，其特征在于，所述MobileViT双肿瘤轻量化图像分类网络和所述UNeXt双肿瘤轻量化图像分割网络在训练过程包括：
在双肿瘤轻量化图像分类阶段，采用的分类损失函数为总体分类交叉熵损失/>、直肠癌DWI图片分类交叉熵损失/>和宫颈癌分类交叉熵损失之和；
在双肿瘤轻量化图像分割阶段采用两通道的损失函数，包括直肠癌图像分割损失函数和宫颈癌图像分割损失函数/>，该两通道的损失函数分别为分割交叉熵损失和分割Dice损失之和；
在训练阶段，采用分阶段训练＋组合调试的方式，首先将MobileViT双肿瘤轻量化图像分类网络的性能训练到最优，进而将两通道的UNeXt双肿瘤轻量化图像分割网络的性能训练到最优，之后进行组合调试以检验整体性能，并通过与医生的人工处理时间对比来反向优化各参数。
8.根据权利要求1所述的方法，其特征在于，所述DWI核磁共振图像存储于图像工作站或者医生移动终端；所述MobileViT双肿瘤轻量化图像分类网络和所述UNeXt双肿瘤轻量化图像分割网络部署于移动端中央处理设备；所述移动端中央处理设备将图像分类结果和图像分割结果发送至图像工作站或医生移动终端。
9.一种面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理系统，其特征在于，包括：
图像分类模块，用于采用MobileViT双肿瘤轻量化图像分类网络对DWI核磁共振图像进行识别，得到图像的识别结果，包括所属的癌症类型以及否存在肿瘤的判断结果；所述癌症类型包括直肠癌和宫颈癌；
图像分割模块，用于采用UNeXt双肿瘤轻量化图像分割网络对存在肿瘤的图像进行分割，得到精准分割的直肠癌病灶和宫颈癌病灶。
10.一种移动端，其特征在于，所述移动端中部署权利要求9所述的面向移动端的直肠癌及宫颈癌DWI图像智能轻量处理系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311387594.1A CN117132595B (zh) | 2023-10-25 | 2023-10-25 | 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311387594.1A CN117132595B (zh) | 2023-10-25 | 2023-10-25 | 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117132595A true CN117132595A (zh) | 2023-11-28 |
| CN117132595B CN117132595B (zh) | 2024-01-16 |
Family
ID=88858459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311387594.1A Active CN117132595B (zh) | 2023-10-25 | 2023-10-25 | 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132595B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333725A (zh) * | 2023-11-29 | 2024-01-02 | 中国医学科学院北京协和医院 | 一种基于mri的先天性宫颈畸形分类方法、系统及设备 |
| CN117422722A (zh) * | 2023-12-19 | 2024-01-19 | 北京智源人工智能研究院 | 基于adc图像的肿瘤预后特征评估的方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016083671A1 (en) * | 2014-11-28 | 2016-06-02 | Small Giant Games Oy | Unit for controlling an object displayed on a display, a method for controlling an object displayed on a display and a computer program product |
| CN115829962A (zh) * | 2022-11-25 | 2023-03-21 | 江南大学 | 医学图像分割装置、训练方法及医学图像分割方法 |
| CN116485798A (zh) * | 2023-06-25 | 2023-07-25 | 北京肿瘤医院(北京大学肿瘤医院) | 一种多模态宫颈癌mri图像自动识别和分割方法及系统 |
| CN116579982A (zh) * | 2023-03-30 | 2023-08-11 | 苏州大学 | 一种肺炎ct图像分割方法、装置及设备 |
| CN116612092A (zh) * | 2023-05-25 | 2023-08-18 | 浙江农林大学 | 一种基于改进的MobileViT网络的显微镜图像清晰度评价方法 |
-
2023
- 2023-10-25 CN CN202311387594.1A patent/CN117132595B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016083671A1 (en) * | 2014-11-28 | 2016-06-02 | Small Giant Games Oy | Unit for controlling an object displayed on a display, a method for controlling an object displayed on a display and a computer program product |
| CN115829962A (zh) * | 2022-11-25 | 2023-03-21 | 江南大学 | 医学图像分割装置、训练方法及医学图像分割方法 |
| CN116579982A (zh) * | 2023-03-30 | 2023-08-11 | 苏州大学 | 一种肺炎ct图像分割方法、装置及设备 |
| CN116612092A (zh) * | 2023-05-25 | 2023-08-18 | 浙江农林大学 | 一种基于改进的MobileViT网络的显微镜图像清晰度评价方法 |
| CN116485798A (zh) * | 2023-06-25 | 2023-07-25 | 北京肿瘤医院(北京大学肿瘤医院) | 一种多模态宫颈癌mri图像自动识别和分割方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333725A (zh) * | 2023-11-29 | 2024-01-02 | 中国医学科学院北京协和医院 | 一种基于mri的先天性宫颈畸形分类方法、系统及设备 |
| CN117422722A (zh) * | 2023-12-19 | 2024-01-19 | 北京智源人工智能研究院 | 基于adc图像的肿瘤预后特征评估的方法和装置 |
| CN117422722B (zh) * | 2023-12-19 | 2024-03-29 | 北京智源人工智能研究院 | 基于adc图像的肿瘤预后特征评估的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117132595B (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117132595B (zh) | 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 | |
| CN113870258B (zh) | 一种基于对抗学习的无标签胰腺影像自动分割系统 | |
| Zeng et al. | Fetal ultrasound image segmentation for automatic head circumference biometry using deeply supervised attention-gated V-Net | |
| CN111028242A (zh) | 一种肿瘤自动分割系统、方法及电子设备 | |
| CN112102321A (zh) | 一种基于深度卷积神经网络的病灶图像分割方法及系统 | |
| CN116309650B (zh) | 基于双分支嵌入注意力机制的医学图像分割方法与系统 | |
| Wu et al. | An artificial intelligence multiprocessing scheme for the diagnosis of osteosarcoma MRI images | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN114037714B (zh) | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 | |
| CN112215844A (zh) | 基于ACU-Net的MRI多模态图像分割方法和系统 | |
| CN116485798B (zh) | 一种多模态宫颈癌mri图像自动识别和分割方法及系统 | |
| CN111260639A (zh) | 多视角信息协作的乳腺良恶性肿瘤分类方法 | |
| CN115578384A (zh) | 基于全局和局部特征融合的UNet脑肿瘤图像分割算法 | |
| CN114596318A (zh) | 一种基于Transformer的乳腺癌磁共振成像病灶分割方法 | |
| Sun et al. | Classification for thyroid nodule using ViT with contrastive learning in ultrasound images | |
| CN115471470A (zh) | 一种食管癌ct图像分割方法 | |
| CN115809998A (zh) | 基于E2C-Transformer网络的胶质瘤MRI数据分割方法 | |
| CN115619797A (zh) | 一种基于注意力机制的并行U-Net网络的肺部图像分割方法 | |
| CN116758102A (zh) | 一种基于CNN与Transformer的超声图像分割方法 | |
| Wu et al. | Multi-scale long-range interactive and regional attention network for stroke lesion segmentation | |
| CN117422788B (zh) | 一种基于ct脑梗图像生成dwi图像的方法 | |
| Zhang et al. | SaTransformer: Semantic‐aware transformer for breast cancer classification and segmentation | |
| CN117649385A (zh) | 一种基于全局和局部注意力机制的肺部ct图像分割方法 | |
| CN115953420B (zh) | 深度学习网络模型以及医疗图像分割方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240312 Address after: 100142, Fu Cheng Road, Beijing, Haidian District, No. 52 Patentee after: BEIJING CANCER HOSPITAL (BEIJING CANCER Hospital) Country or region after: China Address before: 100142, Fu Cheng Road, Beijing, Haidian District, No. 52 Patentee before: BEIJING INSTITUTE FOR CANCER RESEARCH Country or region before: China |