CN113744271B - 基于神经网络的视神经自动分割和受压迫程度测算方法 - Google Patents
基于神经网络的视神经自动分割和受压迫程度测算方法 Download PDFInfo
- Publication number
- CN113744271B CN113744271B CN202111310100.0A CN202111310100A CN113744271B CN 113744271 B CN113744271 B CN 113744271B CN 202111310100 A CN202111310100 A CN 202111310100A CN 113744271 B CN113744271 B CN 113744271B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- cross
- beta
- feature map
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 96
- 230000006835 compression Effects 0.000 title claims abstract description 43
- 238000007906 compression Methods 0.000 title claims abstract description 43
- 210000001328 optic nerve Anatomy 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 17
- 238000004364 calculation method Methods 0.000 title claims description 12
- 238000000691 measurement method Methods 0.000 title claims description 5
- 230000000007 visual effect Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 28
- 210000004556 brain Anatomy 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 15
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 43
- 108091006146 Channels Proteins 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012887 quadratic function Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 14
- 238000013434 data augmentation Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000013016 damping Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000004393 prognosis Methods 0.000 abstract description 5
- 230000003252 repetitive effect Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000003325 tomography Methods 0.000 abstract description 2
- 206010029174 Nerve compression Diseases 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000007917 intracranial administration Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 210000000857 visual cortex Anatomy 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 208000009798 Craniopharyngioma Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 208000007913 Pituitary Neoplasms Diseases 0.000 description 1
- 206010068268 Tumour compression Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 208000010916 pituitary tumor Diseases 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009978 visual deterioration Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- High Energy & Nuclear Physics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了基于神经网络的视神经自动分割和受压迫程度测算方法，涉及图像数据处理技术领域，解决现有蝶鞍区的核磁断层扫描的分析费时且效率低下的技术问题，包括如下步骤：获取蝶鞍区肿瘤患者的MRI图像文件；建立视交叉分割模型，选择U‑Net分割网络，并加入空间和通道注意力机制，对每例裁切后MRI图像进行视交叉区域的分割；视交叉受压迫程度测算；模型的训练与测试；本发明能在极短时间内快速分析该蝶鞍区肿瘤患者的多张脑部MRI图像，减少了医生大量的重复性工作，达到在临床上，辅助医生进行压迫程度判断，预后预测，为手术提供参考的实际应用目的。
Description
技术领域
本发明涉及图像数据处理技术领域，更具体的是涉及视神经自动分割和受压迫程度测算技术领域。
背景技术
视神经是中枢神经系统的一部分，其源于视网膜，然后在蝶鞍区形成视交叉，再形成视束，最后到达视觉皮层，主要负责将视网膜得到的视觉信息传导到大脑的视觉皮层。而蝶鞍区是颅内肿瘤的多发区域，常见肿瘤有垂体瘤，颅咽管瘤等，这些肿瘤逐渐向上生长，会直接压迫视神经和视交叉。视神经受到压迫会阻碍视觉冲动的传递，从而导致视野缺失、视力下降等视功能障碍。若视神经长期被压迫会导致视神经发生萎缩，从而导致永久性失明；而早期的发现并及时的解除视神经的压迫能最大程度的帮助患者恢复视功能。因此术前尽早地对视神经受压程度进行准确判断至关重要，将有助于制定患者的手术方式及评估预后状况。
对于视交叉受蝶鞍区肿瘤压迫的诊断，目前最常用且有效的手段为医学影像检查中的磁共振(MRI)检查。具体做法为患者将在影像科的专业医师的指导下，接受磁共振机对其蝶鞍区按一定扫描序列在冠位面、矢位面和轴位面方向上的全方位立体扫描。扫描完成后，医生对该序列下得到的每一张MRI图像数据进行读图分析，根据患者颅脑MRI图像中显示出的视神经形态，纹理，像素强度等特征，进行对颅内鞍区肿瘤压迫视神经的影像学分级。
首先，对由蝶鞍区肿瘤引起的视神经压迫性病变的诊断是一个跨科室的任务，涉及到眼科和神经外科，虽然大部分的医院都设有眼科，但是专门的神经外科往往只有大型医院才有设立，因此对于相对偏远的乡镇医院很难及时获得经验丰富的医生的临床意见。其次，视交叉在大脑中的体积较小，人工读图并从蝶鞍区的核磁断层扫描中对视交叉进行识别、定位、分级是较为费时且效率低下的工作。
发明内容
本发明的目的在于：为了解决上述由蝶鞍区肿瘤引起的视神经压迫性病变诊断不方便，此外人工读图费时且效率低下的技术问题，本发明提供基于神经网络的视神经自动分割和受压迫程度测算方法。
本发明为了实现上述目的具体采用以下技术方案：基于神经网络的视神经自动分割和受压迫程度测算方法，包括如下步骤：
步骤1、获取蝶鞍区肿瘤患者的MRI图像，包括视神经受压迫样本和视神经未受压迫样本，每例MRI图像标注有视交叉分割标签，由四川大学华西医院神经外科的医师标注；
步骤2、对每例MRI图像进行中心裁切(缩小图像区域)；
步骤3、建立视交叉分割模型，选择U-Net分割网络，并加入空间和通道注意力机制来提高分割性能，对每例裁切后的MRI图像进行视交叉区域的分割；
步骤4、模型的训练与测试；
步骤5、将患者脑部MRI扫描影像输入视交叉分割模型，得到分割结果，再将分割结果按照视交叉受压迫程度测算得出受压迫程度的指标，从而定量的衡量视神经受压迫的严重程度。
本申请的技术方案中，在蝶鞍区肿瘤患者经过核磁共振扫描后，得到该患者脑部三维MRI图像文件，首先根据视交叉的解剖位置，先对该MRI图像进行初步的裁剪，目的是为了筛选出包含视交叉的蝶鞍区的有效图像，然后再对这部分包含蝶鞍区的有效图像进行端到端的分割，然后，根据分割结果，将分割出的每个像素作为一个样本，再对所有的样本点进行曲线拟合并得到曲线的数学表达式，最后计算所拟合的函数在样本区间中的平均曲率与最大曲率，从而定量的衡量视神经受压迫的严重程度。本发明提出的基于深度神经网络的视交叉快速分割与压迫程度定量计算方法，能在极短时间内快速分析该蝶鞍区肿瘤患者的多张脑部MRI图像，减少了医生大量的重复性工作，达到在临床上，辅助医生进行压迫程度判断，预后预测，为手术提供参考的实际应用目的。
进一步的，步骤3中视交叉分割模型的建立，包括如下步骤：
步骤A、使用3×3大小的卷积核、批次归一化(Batch norm)和修正线性层来提取特征，得到特征图，该操作在每次进行上采样或者下采样前重复使用两次；
步骤B、下采样，使用2×2大小的最大池化层将特征图缩小为原来的一半，总共进行四次下采样操作；
步骤C、上采样，采用双线性插值方式对特征图进行上采样，将特征图扩大一倍，通过四次上采样，逐步恢复到原始图像大小；
步骤D、跨层连接，连接编码器和解码器，充分利用编码器中丰富的空间细节信息以及解码器中的语义信息将同一尺度的前后特征图拼接；
步骤E、在每步下采样和上采样之前，(根据通道和空间中的注意力权重来表达能力，从而提高模型分割的性能)对任一输入的大小为C×H×W大小的特征图，C为通道数，H为图像的高度，W为图像的宽度，通过采用1×1大小卷积来压缩通道将特征图压缩1×H×W，然后使用Sigmoid函数来将特征图中数值的放缩到0到1之间，生成空间注意力权重，接着将空间注意力权重与原始特征图相乘从而获得空间表达增强的特征图，同时，对任意输入大小为C×H×W大小的特征图采用全局池化操作来压缩空间信息将特征图压缩C×1×1大小，生成通道注意力权重，接着将通道注意力权重与原始输入特征图相乘进而得到通道特征增强的特征图，之后空间表达增强的特征图和通道表达增强的特征图进行融合，得到空间、通道表达同时增强的特征图；
步骤F、对步骤E得到的特征图，预测每个像素的类别概率，由于只需要分割出视交叉与背景，将概率值大于等于0.5的像素点置为1，认为其是视交叉区域，将概率值小于0.5的像素点置为0，认为其是背景区域。
进一步的，对分割完成的模型进行训练，将病人的脑部MRI图像输入上述建立的视交叉分割模型，由该模型输出分割结果，再计算输出的分割结果与神经外科的医师标注的该病人的脑部MRI图像视交叉分割标签间的误差，然后采用最速梯度下降算法完成网络模型中参数的更新，最终当输出的分割结果与分割标签间的误差满足结束条件时，得到训练完成的网络模型。
进一步的，视交叉受压迫程度测算，包括如下步骤：由训练完成的分割模型输出的分割结果的左下角作为坐标原点，建立直角坐标系，并将分割结果中目标区域的每个像素点作为一个样本点(xi，yi)，假设共有m个像素点，构成数据集
由于视交叉受压迫后发生形变，其形状类似二次函数，因此设曲线函数f(x，β)＝β1×x2+β2×x+β3，β＝(β1，β2，β3)，即二次函数中的各项系数，每个样本点的残差项为ri(β)，并将曲线拟合转化为最优化问题
采用莱文贝格-马夸特方法迭代求解β，包括如下步骤：
步骤a、根据当前的系数βs，计算出雅可比矩阵Jr：
其中，
代表求偏导，ri(β)代表各项系数的残差，βj代表二次函数中的各项系数，
步骤b、根据
计算出参数的变化量
其中，Jr代表雅可比矩阵，
代表雅可比矩阵的转置，diag代表矩阵的迹，r(β)代表由ri(β)组成的向量，λ为阻尼系数，用来控制每一步迭代的步长以及方向，
步骤c、更新β：
βs+1＝βs+Δβ
其中，βs+1和βs分别代表二次函数的更新后和更新前的系数，Δβ代表各项系数的变化量，
步骤d、如果满足收敛条件，则输出二次函数的各项系数β，否则继续步骤1；
步骤e、根据曲率的定义，得出曲率k：
及上述计算出的的f(x，β)，x∈(min(xi)，max(xi))，计算出在x∈(min(xi)，max(xi))时的最大曲率kmax与平均曲率kavg作为受压迫程度的指标。
进一步的，视交叉分割模型训练完成后，对网络的分类性能进行测试与评估，在划分好的测试数据集上，输入患者的MRI图像，对视交叉分割模型预测出的分割结果与神经外科的医师标注的该病人的脑部MRI图像视交叉分割标签进行统计与比对。
更进一步的，分割结果按视交叉受压迫程度测算方法计算出曲率，然后采用T检验。
进一步的，步骤1中，将MRI图像数据按照4∶1随机划分为训练集和测试集。
进一步的，步骤1中，采用了数据增广来缓解在模型训练过程中的过拟合现象，数据增广方法包括在[-10°，10°]中随机旋转，随机上下翻转，随机左右翻转，随机的弹性变换。
本发明的有益效果如下：
1.本发明提出的基于深度神经网络的视交叉快速分割与压迫程度定量计算方法，能在极短时间内快速分析该蝶鞍区肿瘤患者的多张脑部MRI图像，减少了医生大量的重复性工作，达到在临床上，辅助医生进行压迫程度判断，预后预测，为手术提供参考的实际应用目的。
2.本发明能够针对蝶鞍区肿瘤患者脑部的MRI图像进行其视交叉分割；
3.本发明有别于临床中受压迫程度的定性衡量方式，本发明提出了使用曲率来衡量视神经受压迫程度，并提出了完整的使用分割图像计算压迫程度的方法；
4.本申请的视神经受压迫的严重程度完全由计算机自动完成，仅需输入该患者的脑部MRI图像，即可自动进行视交叉分割以及曲率计算，不需要其他人为参数设置和特征指定；
5.视交叉分割模型能在极短时间内快速分析该蝶鞍区肿瘤患者的多张脑部MRI图像，极大地减少了医生大量的重复性工作，同时，压迫程度定量计算方法能定量的计算出压迫程度指标，为医生对视交叉受压迫的程度提供准确、科学、可解释的参考标准，本申请能在临床实际应用中辅助医生进行病情诊断，预后预测，为手术提供参考。
附图说明
图1是本发明基于神经网络的视神经自动分割和受压迫程度测算方法的流程图；
图2是本发明基于神经网络的视神经自动分割模型的网络结构图；
图3是本发明基于神经网络的视神经自动分割模型的空间和通道注意力结构图；
图4是本发明应用实例的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1到3所示，本实施例提供基于神经网络的视神经自动分割和受压迫程度测算方法，包括如下步骤：
步骤1、获取蝶鞍区肿瘤患者的MRI图像，包括视神经受压迫样本和视神经未受压迫样本，每例MRI图像标注有视交叉分割标签，由四川大学华西医院神经外科的医师标注；
将MRI图像数据按照4∶1随机划分为训练集和测试集；
步骤2、对每例裁切后的MRI图像进行中心裁切，缩小图像区域；
步骤3、建立视交叉分割模型，选择U-Net分割网络，并加入空间和通道注意力机制，来提高分割性能，对每例MRI图像进行视交叉区域的分割；视交叉分割模型的建立，包括如下步骤：
步骤A、使用3×3大小的卷积核、批次归一化(Batch norm)和修正线性层来提取特征，得到特征图，该操作在每次进行上采样或者下采样前重复使用两次；
步骤B、下采样，使用2×2大小的最大池化层将特征图缩小为原来的一半，总共进行四次下采样操作(如图2中竖直向下的箭头所示)；
步骤C、上采样，采用双线性插值方式对特征图进行上采样，将特征图扩大一倍，通过四次上采样，逐步恢复到原始图像大小(如图2中竖直向上的箭头所示)；
步骤D、跨层连接，连接编码器和解码器，充分利用编码器中丰富的空间细节信息以及解码器中的语义信息将同一尺度的前后特征图拼接(如图2中虚线箭头所示)；
步骤E、在每步下采样和上采样之前，根据通道和空间中的注意力权重来表达能力，从而提高模型分割的性能，对任一输入的大小为C×H×W大小的特征图，C为通道数，H为图像的高度，W为图像的宽度，通过采用1×1大小卷积来压缩通道将特征图压缩1×H×W，然后使用Sigmoid函数来将特征图中的数值放缩到0到1之间，生成空间注意力权重，接着将空间注意力权重与原始特征图相乘从而获得空间表达增强的特征图，同时，对任意输入大小为C×H×W大小的特征图采用全局池化操作来压缩空间信息将特征图压缩C×1×1大小，生成通道注意力权重，接着将通道注意力权重与原始输入特征图相乘进而得到通道特征增强的特征图，之后空间表达增强的特征图和通道表达增强的特征图进行融合，得到空间、通道表达同时增强的特征图(如图3所示)；
步骤F、对步骤E得到的特征图，预测每个像素的类别概率，由于只需要分割出视交叉与背景，将概率值大于等于0.5的像素点置为1，认为其是视交叉区域，将概率值小于0.5的像素点置为0，认为其是背景区域；
步骤4、模型的训练与测试；
对分割完成的模型进行训练，将病人的脑部MRI图像输入上述建立的视交叉分割模型，由该模型输出分割结果，再计算输出的分割结果与神经外科的医师标注的该病人的脑部MRI图像视交叉分割标签间的误差，然后采用最速梯度下降算法完成网络模型中参数的更新，最终当输出的分割结果与分割标签间的误差满足结束条件时，得到训练完成的网络模型，采用了数据增广来缓解在模型训练过程中的过拟合现象，数据增广方法包括在[-10°，10°]中随机旋转，随机上下翻转，随机左右翻转，随机的弹性变换；
网络模型训练完成后，对网络的分类性能进行测试与评估，在划分好的测试数据集上，输入患者的MRI图像，对视交叉分割模型预测出的分割结果与神经外科的医师标注的该病人的脑部MRI图像视交叉分割标签进行统计与比对，Dice相似系数达到了0.85，分割结果与分割标签的豪斯多夫距离仅为2mm，说明分割结果在形状和边缘上都实现了良好的效果；
步骤5、将患者脑部MRI扫描影像输入视交叉分割模型，得到分割结果，再将分割结果按照视交叉受压迫程度测算得出受压迫程度的指标，从而定量的衡量视神经受压迫的严重程度。
视交叉受压迫程度测算，包括如下步骤：由训练完成的分割模型输出的分割结果的左下角作为坐标原点，建立直角坐标系，并将分割结果中目标区域的每个像素点作为一个样本点(xi，yi)，假设共有m个像素点，构成数据集
由于视交叉受压迫后发生形变，其形状类似二次函数，因此设曲线函数f(x，β)＝β1×x2+β2×x+β3，β＝(β1，β2，β3)，即二次函数中的各项系数，每个样本点的残差项为ri(β)，并将曲线拟合转化为最优化问题
采用莱文贝格-马夸特方法迭代求解β，包括如下步骤：
步骤a、根据当前的系数βs，计算出雅可比矩阵Jr：
其中，
代表求偏导，ri(β)代表各项系数的残差，βj代表二次函数中的各项系数，
步骤b、根据
计算出参数的变化量
其中，Jr代表雅可比矩阵，
代表雅可比矩阵的转置，diag代表矩阵的迹，r(β)代表由ri(β)组成的向量，λ为阻尼系数，用来控制每一步迭代的步长以及方向，
步骤c、更新β：
βs+1＝βs+Δβ
其中，βs+1和βs分别代表二次函数的更新后和更新前的系数，Δβ代表各项系数的变化量，
步骤d、如果满足收敛条件，则输出二次函数的各项系数β，否则继续步骤1；
步骤e、根据曲率的定义，得出曲率k：
及上述计算出的的f(x，β)，x∈(min(xi)，max(xi))，计算出在
x∈(min(xi)，max(xi))时的最大曲率kmax与平均曲率kavg作为受压迫程度的指标；
分割结果按视交叉受压迫程度测算方法计算出曲率，然后采用T检验，得出p值远小于0.05，说明受压迫的视交叉曲率与未受压迫的视交叉曲率存在显著性差异，具有临床指导意义。
应用例
如图4所示，首先将患者脑部MRI扫描影像作为输入，使用训练完成的神经网络模型得到分割结果。然后，以分割结果的左下角作为坐标原点，建立直角坐标系，并按照所提出的视交叉受压迫程度方法，求出拟合曲线
y＝-0.0303×x2+3.5165×x-29.4963
最终测算得出受压迫程度的定量指标，平均曲率为2.31×10-2，最大曲率为6.07×10-2。
Claims (6)
1.基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，包括如下步骤：
步骤1、获取蝶鞍区肿瘤患者的MRI图像，每例MRI图像标注有视交叉分割标签；
步骤2、对每例MRI图像进行中心裁切；
步骤3、建立视交叉分割模型，选择U-Net分割网络，并加入空间和通道注意力机制，对每例裁切后的MRI图像进行视交叉区域的分割；
步骤4、模型的训练与测试；
步骤5、将患者脑部MRI扫描影像输入视交叉分割模型，得到分割结果，再将分割结果按照视交叉受压迫程度测算得出受压迫程度的指标；其中：
步骤3中视交叉分割模型的建立，包括如下步骤：
步骤A、使用3×3大小的卷积核、批次归一化和修正线性层来提取特征，得到特征图，该操作在每次进行上采样或者下采样前重复使用两次；
步骤B、下采样，使用2×2大小的最大池化层将特征图缩小为原来的一半，总共进行四次下采样操作；
步骤C、上采样，采用双线性插值方式对特征图进行上采样，将特征图扩大一倍，通过四次上采样，逐步恢复到原始图像大小；
步骤D、跨层连接，连接编码器和解码器，充分利用编码器中丰富的空间细节信息以及解码器中的语义信息将同一尺度的前后特征图拼接；
步骤E、在每步下采样和上采样之前，对任一输入的大小为C×H×W大小的特征图，C为通道数，H为图像的高度，W为图像的宽度，通过采用1×1大小卷积来压缩通道将特征图压缩1×H×W，然后使用Sigmoid函数来将特征图中的数值放缩到0到1之间，生成空间注意力权重，接着将空间注意力权重与原始特征图相乘从而获得空间表达增强的特征图，同时，对任意输入大小为C×H×W大小的特征图采用全局池化操作来压缩空间信息将特征图压缩C×1×1大小，生成通道注意力权重，接着将通道注意力权重与原始输入特征图相乘进而得到通道特征增强的特征图，之后空间表达增强的特征图和通道表达增强的特征图进行融合，得到空间、通道表达同时增强的特征图；
步骤F、对步骤E得到的特征图，预测每个像素的类别概率，由于只需要分割出视交叉与背景，将概率值大于等于0.5的像素点置为1，认为其是视交叉区域，将概率值小于0.5的像素点置为0，认为其是背景区域；
视交叉受压迫程度测算，包括如下步骤：由训练完成的分割模型输出的分割结果的左下角作为坐标原点，建立直角坐标系，并将分割结果中目标区域的每个像素点作为一个样本点(xi，yi)，假设共有m个像素点，构成数据集
由于视交叉受压迫后发生形变，其形状类似二次函数，因此设曲线函数f(x，β)＝β1×x2+β2×x+β3，β＝(β1，β2，β3)，即二次函数中的各项系数，每个样本点的残差项为ri(β)，并将曲线拟合转化为最优化问题
采用莱文贝格-马夸特方法迭代求解β，包括如下步骤：
步骤a、根据当前的系数βs，计算出雅可比矩阵Jr：
其中，
代表求偏导，ri(β)代表各项系数的残差，βj代表二次函数中的各项系数，
步骤b、根据
计算出参数的变化量
其中，Jr代表雅可比矩阵，
代表雅可比矩阵的转置，diag代表矩阵的迹，r(β)代表由ri(β)组成的向量，λ为阻尼系数，用来控制每一步迭代的步长以及方向；
步骤c、更新β：
βs+1＝βs-Δβ
其中，βs+1和βs分别代表二次函数的更新后和更新前的系数，Δβ代表各项系数的变化量，
步骤d、如果满足收敛条件，则输出二次函数的各项系数β，否则继续步骤1；
步骤e、根据曲率的定义，得出曲率k:
及上述计算出的f(x，β)，x∈(min(xi)，max(xi))，计算出在x∈(min(xi)，max(xi))时的最大曲率kmax与平均曲率kavg作为受压迫程度的指标。
2.根据权利要求1所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，对分割完成的模型进行训练，将病人的脑部MRI图像输入上述建立的视交叉分割模型，由该模型输出分割结果，再计算输出的分割结果与标注的该病人的脑部MRI图像视交叉分割标签间的误差，然后采用最速梯度下降算法完成网络模型中参数的更新，最终当输出的分割结果与分割标签间的误差满足结束条件时，得到训练完成的网络模型。
3.根据权利要求1所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，视交叉分割模型训练完成后，对网络的分类性能进行测试与评估，在划分好的测试数据集上，输入患者的MRI图像，对视交叉分割模型预测出的分割结果与神经外科的医师标注的该患者的MRI图像视交叉分割标签进行统计与比对。
4.根据权利要求1所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，分割结果按视交叉受压迫程度测算方法计算出曲率，然后采用T检验。
5.根据权利要求1所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，步骤1中，将MRI图像数据按照4:1随机划分为训练集和测试集。
6.根据权利要求2所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，步骤1中，采用了数据增广来缓解在模型训练过程中的过拟合现象，数据增广方法包括在[-10°，10°]中随机旋转，随机上下翻转，随机左右翻转，随机的弹性变换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111310100.0A CN113744271B (zh) | 2021-11-08 | 2021-11-08 | 基于神经网络的视神经自动分割和受压迫程度测算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111310100.0A CN113744271B (zh) | 2021-11-08 | 2021-11-08 | 基于神经网络的视神经自动分割和受压迫程度测算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113744271A CN113744271A (zh) | 2021-12-03 |
| CN113744271B true CN113744271B (zh) | 2022-02-11 |
Family
ID=78727571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111310100.0A Active CN113744271B (zh) | 2021-11-08 | 2021-11-08 | 基于神经网络的视神经自动分割和受压迫程度测算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113744271B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842274B (zh) * | 2022-06-27 | 2022-09-06 | 深圳市鑫诺诚科技有限公司 | 基于图像分析的导电泡棉弹性分析方法、装置及设备 |
| EP4316350A1 (en) | 2022-08-05 | 2024-02-07 | Siemens Healthcare GmbH | Image based detection of characteristic eye movements |
| CN115457038B (zh) * | 2022-11-11 | 2023-08-22 | 北京鹰瞳科技发展股份有限公司 | 分级预测模型的训练方法、分级预测的方法及相关产品 |
| CN117392138B (zh) * | 2023-12-13 | 2024-02-13 | 四川大学 | 舌象图像处理方法、存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537669A (zh) * | 2014-12-31 | 2015-04-22 | 浙江大学 | 眼底图像的动静脉视网膜血管分割方法 |
| CN108182686A (zh) * | 2017-12-28 | 2018-06-19 | 山东师范大学 | 基于曲线群匹配的oct眼底图像半自动分割方法和装置 |
| EP3591614A1 (en) * | 2018-07-06 | 2020-01-08 | Charité - Universitätsmedizin Berlin | Method and computer program for segmentation of optical coherence tomography images of the retina |
| CN111932555A (zh) * | 2020-07-31 | 2020-11-13 | 商汤集团有限公司 | 一种图像处理方法及装置、计算机可读存储介质 |
| CN112184720A (zh) * | 2020-08-27 | 2021-01-05 | 首都医科大学附属北京同仁医院 | 一种ct图像的内直肌和视神经分割方法及系统 |
| CN112634273A (zh) * | 2021-03-10 | 2021-04-09 | 四川大学 | 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563996B (zh) * | 2017-08-23 | 2019-12-03 | 东北大学 | 一种新型视神经盘分割方法及系统 |
| JP7229881B2 (ja) * | 2018-08-14 | 2023-02-28 | キヤノン株式会社 | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム |
| CN110070546B (zh) * | 2019-04-18 | 2021-08-27 | 山东师范大学 | 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统 |
| CN112508953B (zh) * | 2021-02-05 | 2021-05-18 | 四川大学 | 基于深度神经网络的脑膜瘤快速分割定性方法 |
-
2021
- 2021-11-08 CN CN202111310100.0A patent/CN113744271B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537669A (zh) * | 2014-12-31 | 2015-04-22 | 浙江大学 | 眼底图像的动静脉视网膜血管分割方法 |
| CN108182686A (zh) * | 2017-12-28 | 2018-06-19 | 山东师范大学 | 基于曲线群匹配的oct眼底图像半自动分割方法和装置 |
| EP3591614A1 (en) * | 2018-07-06 | 2020-01-08 | Charité - Universitätsmedizin Berlin | Method and computer program for segmentation of optical coherence tomography images of the retina |
| CN111932555A (zh) * | 2020-07-31 | 2020-11-13 | 商汤集团有限公司 | 一种图像处理方法及装置、计算机可读存储介质 |
| CN112184720A (zh) * | 2020-08-27 | 2021-01-05 | 首都医科大学附属北京同仁医院 | 一种ct图像的内直肌和视神经分割方法及系统 |
| CN112634273A (zh) * | 2021-03-10 | 2021-04-09 | 四川大学 | 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 |
Non-Patent Citations (5)
| Title |
|---|
| Machine Learning-Based Radiomics of the Optic Chiasm Predict Visual Outcome Following Pituitary Adenoma Surgery;Yang Zhang等;《Application of Artificial Intelligence in Personalized Medicine》;20210927;第11卷(第10期);第1-9页 * |
| Weaving attention U‐net: A novel hybrid CNN and attention‐based method for organs‐at‐risk segmentation in head and neck CT images;Zhuangzhuang Zhang等;《MEDICAL PHYSICS》;20211015;第7052–7062页 * |
| 基于级联3D U-Net的CT和MR视交叉自动分割方法;沈镇炯等;《中国医学物理学杂志》;20210831;第38卷(第8期);第950-954页 * |
| 神经保护剂改善青光眼患者视功能效果的META分析;刘甘;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20150215;第E073-107页 * |
| 视神经颅内段受血管压迫的MRI诊断;陈丹等;《中国CT和MRI杂志》;20150731;第13卷(第7期);第26-27+32页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113744271A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113744271B (zh) | 基于神经网络的视神经自动分割和受压迫程度测算方法 | |
| CN110599528B (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| CN112086197B (zh) | 基于超声医学的乳腺结节检测方法及系统 | |
| EP2647335B1 (en) | Medical image processing device | |
| CN100561518C (zh) | 基于感兴趣区域的自适应医学序列图像插值方法 | |
| CN111047605B (zh) | 一种脊椎ct分割网络模型的构建方法及分割方法 | |
| CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
| US20220335600A1 (en) | Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection | |
| CN113793345B (zh) | 一种基于改进注意力模块的医疗影像分割方法及装置 | |
| CN111681230A (zh) | 脑白质高信号评分系统及其评分方法 | |
| Gerig et al. | Medical imaging and computer vision: An integrated approach for diagnosis and planning | |
| CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 | |
| CN113034507A (zh) | 基于ccta影像的冠状动脉三维分割方法 | |
| CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
| CN117422788B (zh) | 一种基于ct脑梗图像生成dwi图像的方法 | |
| CN114694236A (zh) | 一种基于循环残差卷积神经网络的眼球运动分割定位方法 | |
| CN114882048A (zh) | 基于小波散射学习网络的图像分割方法和系统 | |
| CN112686875A (zh) | 基于神经网络的pet-ct图像的肿瘤预测方法及计算机可读存储介质 | |
| CN116152560A (zh) | 一种基于多任务学习的胶质瘤图像分类方法及系统 | |
| CN116309806A (zh) | 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 | |
| CN117746042A (zh) | 一种基于APA-UNet的肝脏肿瘤CT图像分割方法 | |
| CN117830228A (zh) | 一种基于磁共振图像质量评价的成像优化方法 | |
| CN117237627A (zh) | 一种多模态mri脑肿瘤图像分割方法 | |
| CN114119558B (zh) | 一种自动生成鼻咽癌影像诊断结构化报告方法 | |
| CN111862014A (zh) | 一种基于左右侧脑室分割的alvi自动测量方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |