CN113744271A - 基于神经网络的视神经自动分割和受压迫程度测算方法 - Google Patents

基于神经网络的视神经自动分割和受压迫程度测算方法 Download PDF

Info

Publication number
CN113744271A
CN113744271A CN202111310100.0A CN202111310100A CN113744271A CN 113744271 A CN113744271 A CN 113744271A CN 202111310100 A CN202111310100 A CN 202111310100A CN 113744271 A CN113744271 A CN 113744271A
Authority
CN
China
Prior art keywords
segmentation
cross
feature map
model
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111310100.0A
Other languages
English (en)
Other versions
CN113744271B (zh
Inventor
张蕾
徐建国
章毅
王利团
陈超越
黄伟
舒鑫
王梓舟
花语
李佳怡
谭硕
余怡洁
王凌度
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202111310100.0A priority Critical patent/CN113744271B/zh
Publication of CN113744271A publication Critical patent/CN113744271A/zh
Application granted granted Critical
Publication of CN113744271B publication Critical patent/CN113744271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了基于神经网络的视神经自动分割和受压迫程度测算方法，涉及图像数据处理技术领域，解决现有蝶鞍区的核磁断层扫描的分析费时且效率低下的技术问题，包括如下步骤：获取蝶鞍区肿瘤患者的MRI图像文件；建立视交叉分割模型，选择U‑Net分割网络，并加入空间和通道注意力机制，对每例裁切后MRI图像进行视交叉区域的分割；视交叉受压迫程度测算；模型的训练与测试；本发明能在极短时间内快速分析该蝶鞍区肿瘤患者的多张脑部MRI图像，减少了医生大量的重复性工作，达到在临床上，辅助医生进行压迫程度判断，预后预测，为手术提供参考的实际应用目的。

Description

基于神经网络的视神经自动分割和受压迫程度测算方法
技术领域
本发明涉及图像数据处理技术领域，更具体的是涉及视神经自动分割和受压迫程度测算技术领域。
背景技术
视神经是中枢神经系统的一部分，其源于视网膜，然后在蝶鞍区形成视交叉，再形成视束，最后到达视觉皮层，主要负责将视网膜得到的视觉信息传导到大脑的视觉皮层。而蝶鞍区是颅内肿瘤的多发区域，常见肿瘤有垂体瘤，颅咽管瘤等，这些肿瘤逐渐向上生长，会直接压迫视神经和视交叉。视神经受到压迫会阻碍视觉冲动的传递，从而导致视野缺失、视力下降等视功能障碍。若视神经长期被压迫会导致视神经发生萎缩，从而导致永久性失明；而早期的发现并及时的解除视神经的压迫能最大程度的帮助患者恢复视功能。因此术前尽早地对视神经受压程度进行准确判断至关重要，将有助于制定患者的手术方式及评估预后状况。
对于视交叉受蝶鞍区肿瘤压迫的诊断，目前最常用且有效的手段为医学影像检查中的磁共振（MRI）检查。具体做法为患者将在影像科的专业医师的指导下，接受磁共振机对其蝶鞍区按一定扫描序列在冠位面、矢位面和轴位面方向上的全方位立体扫描。扫描完成后，医生对该序列下得到的每一张MRI图像数据进行读图分析，根据患者颅脑MRI图像中显示出的视神经形态，纹理，像素强度等特征，进行对颅内鞍区肿瘤压迫视神经的影像学分级。
首先，对由蝶鞍区肿瘤引起的视神经压迫性病变的诊断是一个跨科室的任务，涉及到眼科和神经外科，虽然大部分的医院都设有眼科，但是专门的神经外科往往只有大型医院才有设立，因此对于相对偏远的乡镇医院很难及时获得经验丰富的医生的临床意见。其次，视交叉在大脑中的体积较小，人工读图并从蝶鞍区的核磁断层扫描中对视交叉进行识别、定位、分级是较为费时且效率低下的工作。
发明内容
本发明的目的在于：为了解决上述由蝶鞍区肿瘤引起的视神经压迫性病变诊断不方便，此外人工读图费时且效率低下的技术问题，本发明提供基于神经网络的视神经自动分割和受压迫程度测算方法。
本发明为了实现上述目的具体采用以下技术方案：基于神经网络的视神经自动分割和受压迫程度测算方法，包括如下步骤：
步骤1、获取蝶鞍区肿瘤患者的MRI图像，包括视神经受压迫样本和视神经未受压迫样本，每例MRI图像标注有视交叉分割标签，由四川大学华西医院神经外科的医师标注；
步骤2、对每例MRI图像进行中心裁切（缩小图像区域）；
步骤3、建立视交叉分割模型，选择U-Net分割网络，并加入空间和通道注意力机制来提高分割性能，对每例裁切后的MRI图像进行视交叉区域的分割；
步骤4、模型的训练与测试；
步骤5、将患者脑部MRI扫描影像输入视交叉分割模型，得到分割结果，再将分割结果按照视交叉受压迫程度测算得出受压迫程度的指标，从而定量的衡量视神经受压迫的严重程度。
本申请的技术方案中，在蝶鞍区肿瘤患者经过核磁共振扫描后，得到该患者脑部三维MRI图像文件，首先根据视交叉的解剖位置，先对该MRI图像进行初步的裁剪，目的是为了筛选出包含视交叉的蝶鞍区的有效图像，然后再对这部分包含蝶鞍区的有效图像进行端到端的分割，然后，根据分割结果，将分割出的每个像素作为一个样本，再对所有的样本点进行曲线拟合并得到曲线的数学表达式，最后计算所拟合的函数在样本区间中的平均曲率与最大曲率，从而定量的衡量视神经受压迫的严重程度。本发明提出的基于深度神经网络的视交叉快速分割与压迫程度定量计算方法，能在极短时间内快速分析该蝶鞍区肿瘤患者的多张脑部MRI图像，减少了医生大量的重复性工作，达到在临床上，辅助医生进行压迫程度判断，预后预测，为手术提供参考的实际应用目的。
进一步的，步骤3中视交叉分割模型的建立，包括如下步骤：
步骤A、使用3×3大小的卷积核、批次归一化（Batch norm）和修正线性层来提取特征，得到特征图，该操作在每次进行上采样或者下采样前重复使用两次；
步骤B、下采样，使用2×2大小的最大池化层将特征图缩小为原来的一半，总共进行四次下采样操作；
步骤C、上采样，采用双线性插值方式对特征图进行上采样，将特征图扩大一倍，通过四次上采样，逐步恢复到原始图像大小；
步骤D、跨层连接，连接编码器和解码器，充分利用编码器中丰富的空间细节信息以及解码器中的语义信息将同一尺度的前后特征图拼接；
步骤E、在每步下采样和上采样之前，（根据通道和空间中的注意力权重来表达能力，从而提高模型分割的性能）对任一输入的大小为
Figure 154713DEST_PATH_IMAGE002
大小的特征图，C为通道数，H为图像的高度，W为图像的宽度，通过采用1×1大小卷积来压缩通道将特征图压缩
Figure 275116DEST_PATH_IMAGE004
，然后使用Sigmoid函数来将特征图中数值的放缩到0到1之间，生成空间注意力权重，接着将空间注意力权重与原始特征图相乘从而获得空间表达增强的特征图，同时，对任意输入大小为
Figure 586011DEST_PATH_IMAGE002
大小的特征图采用全局池化操作来压缩空间信息将特征图压缩
Figure 450062DEST_PATH_IMAGE006
大小，生成通道注意力权重，接着将通道注意力权重与原始输入特征图相乘进而得到通道特征增强的特征图，之后空间表达增强的特征图和通道表达增强的特征图进行融合，得到空间、通道表达同时增强的特征图；
步骤F、对步骤E得到的特征图，预测每个像素的类别概率，由于只需要分割出视交叉与背景，将概率值大于等于0.5的像素点置为1，认为其是视交叉区域，将概率值小于0.5的像素点置为0，认为其是背景区域。
进一步的，对分割完成的模型进行训练，将病人的脑部MRI图像输入上述建立的视交叉分割模型，由该模型输出分割结果，再计算输出的分割结果与神经外科的医师标注的该病人的脑部MRI图像视交叉分割标签间的误差，然后采用最速梯度下降算法完成网络模型中参数的更新，最终当输出的分割结果与分割标签间的误差满足结束条件时，得到训练完成的网络模型。
进一步的，视交叉受压迫程度测算，包括如下步骤：由训练完成的分割模型输出的分割结果的左下角作为坐标原点，建立直角坐标系，并将分割结果中目标区域的每个像素点作为一个样本点
Figure 467697DEST_PATH_IMAGE008
，假设共有
Figure 8268DEST_PATH_IMAGE010
个像素点，构成数据集
Figure 744143DEST_PATH_IMAGE012
；
由于视交叉受压迫后发生形变，其形状类似二次函数，因此设曲线函数
Figure DEST_PATH_IMAGE013
，
Figure DEST_PATH_IMAGE015
，即 {\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),}二次函数中的各项系数，每个样本点的残差项为
Figure 880726DEST_PATH_IMAGE017
，并将曲线拟合转化为最优化问题
Figure 2135DEST_PATH_IMAGE018
采用莱文贝格-马夸特方法迭代求解
Figure 729920DEST_PATH_IMAGE020
，包括如下步骤：
步骤a、根据当前的系数
Figure 484249DEST_PATH_IMAGE022
，计算出雅可比矩阵
Figure 955682DEST_PATH_IMAGE024
：
Figure 947908DEST_PATH_IMAGE025
其中，
Figure 564703DEST_PATH_IMAGE027
代表求偏导，
Figure 275170DEST_PATH_IMAGE017
代表各项系数的残差，
Figure 81452DEST_PATH_IMAGE029
代表二次函数中的各项系数，
步骤b、根据
Figure 928186DEST_PATH_IMAGE030
计算出参数的变化量
Figure 732194DEST_PATH_IMAGE031
其中，
Figure 913645DEST_PATH_IMAGE032
代表雅可比矩阵，
Figure 523618DEST_PATH_IMAGE033
代表雅可比矩阵的转置，
Figure 490437DEST_PATH_IMAGE035
代表矩阵的迹，
Figure 465346DEST_PATH_IMAGE037
代表由
Figure 884826DEST_PATH_IMAGE017
组成的向量，
Figure 485441DEST_PATH_IMAGE039
为阻尼系数，用来控制每一步迭代的步长以及方向，
步骤c、更新
Figure 103504DEST_PATH_IMAGE020
：
Figure 249314DEST_PATH_IMAGE041
其中，
Figure 890511DEST_PATH_IMAGE043
和
Figure 45549DEST_PATH_IMAGE022
分别代表二次函数的更新后和更新前的系数，
Figure 518119DEST_PATH_IMAGE045
代表各项系数的变化量，
步骤d、如果满足收敛条件，则输出二次函数的各项系数
Figure 361396DEST_PATH_IMAGE020
，否则继续步骤1；
步骤e、根据曲率的定义，得出曲率
Figure 489889DEST_PATH_IMAGE047
:
Figure 183039DEST_PATH_IMAGE048
及上述计算出的的
Figure 978956DEST_PATH_IMAGE050
，计算出在
Figure 528886DEST_PATH_IMAGE052
时的最大曲率
Figure 393943DEST_PATH_IMAGE054
与平均曲率
Figure 625204DEST_PATH_IMAGE056
作为受压迫程度的指标。
进一步的，视交叉分割模型训练完成后，对网络的分类性能进行测试与评估，在划分好的测试数据集上，输入患者的MRI图像，对视交叉分割模型预测出的分割结果与神经外科的医师标注的该病人的脑部MRI图像视交叉分割标签进行统计与比对。
更进一步的，分割结果按视交叉受压迫程度测算方法计算出曲率，然后采用T检验。
进一步的，步骤1中，将MRI图像数据按照4:1随机划分为训练集和测试集。
进一步的，步骤1中，采用了数据增广来缓解在模型训练过程中的过拟合现象，数据增广方法包括在[-10°，10°]中随机旋转，随机上下翻转，随机左右翻转，随机的弹性变换。
本发明的有益效果如下：
1.本发明提出的基于深度神经网络的视交叉快速分割与压迫程度定量计算方法，能在极短时间内快速分析该蝶鞍区肿瘤患者的多张脑部MRI图像，减少了医生大量的重复性工作，达到在临床上，辅助医生进行压迫程度判断，预后预测，为手术提供参考的实际应用目的。
2.本发明能够针对蝶鞍区肿瘤患者脑部的MRI图像进行其视交叉分割；
3.本发明有别于临床中受压迫程度的定性衡量方式，本发明提出了使用曲率来衡量视神经受压迫程度，并提出了完整的使用分割图像计算压迫程度的方法；
4.本申请的视神经受压迫的严重程度完全由计算机自动完成，仅需输入该患者的脑部MRI图像，即可自动进行视交叉分割以及曲率计算，不需要其他人为参数设置和特征指定；
5.视交叉分割模型能在极短时间内快速分析该蝶鞍区肿瘤患者的多张脑部MRI图像，极大地减少了医生大量的重复性工作，同时，压迫程度定量计算方法能定量的计算出压迫程度指标，为医生对视交叉受压迫的程度提供准确、科学、可解释的参考标准，本申请能在临床实际应用中辅助医生进行病情诊断，预后预测，为手术提供参考。
附图说明
图1是本发明基于神经网络的视神经自动分割和受压迫程度测算方法的流程图；
图2是本发明基于神经网络的视神经自动分割模型的网络结构图;
图3是本发明基于神经网络的视神经自动分割模型的空间和通道注意力结构图；
图4是本发明应用实例的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1到3所示，本实施例提供基于神经网络的视神经自动分割和受压迫程度测算方法，包括如下步骤：
步骤1、获取蝶鞍区肿瘤患者的MRI图像，包括视神经受压迫样本和视神经未受压迫样本，每例MRI图像标注有视交叉分割标签，由四川大学华西医院神经外科的医师标注；
将MRI图像数据按照4:1随机划分为训练集和测试集；
步骤2、对每例裁切后的MRI图像进行中心裁切，缩小图像区域；
步骤3、建立视交叉分割模型，选择U-Net分割网络，并加入空间和通道注意力机制，来提高分割性能，对每例MRI图像进行视交叉区域的分割；视交叉分割模型的建立，包括如下步骤：
步骤A、使用3×3大小的卷积核、批次归一化（Batch norm）和修正线性层来提取特征，得到特征图，该操作在每次进行上采样或者下采样前重复使用两次；
步骤B、下采样，使用2×2大小的最大池化层将特征图缩小为原来的一半，总共进行四次下采样操作（如图2中竖直向下的箭头所示）；
步骤C、上采样，采用双线性插值方式对特征图进行上采样，将特征图扩大一倍，通过四次上采样，逐步恢复到原始图像大小（如图2中竖直向上的箭头所示）；
步骤D、跨层连接，连接编码器和解码器，充分利用编码器中丰富的空间细节信息以及解码器中的语义信息将同一尺度的前后特征图拼接（如图2中虚线箭头所示）；
步骤E、在每步下采样和上采样之前，根据通道和空间中的注意力权重来表达能力，从而提高模型分割的性能，对任一输入的大小为
Figure 275629DEST_PATH_IMAGE002
大小的特征图，C为通道数，H为图像的高度，W为图像的宽度，通过采用1×1大小卷积来压缩通道将特征图压缩
Figure 996460DEST_PATH_IMAGE004
，然后使用Sigmoid函数来将特征图中的数值放缩到0到1之间，生成空间注意力权重，接着将空间注意力权重与原始特征图相乘从而获得空间表达增强的特征图，同时，对任意输入大小为
Figure 365124DEST_PATH_IMAGE002
大小的特征图采用全局池化操作来压缩空间信息将特征图压缩
Figure 649344DEST_PATH_IMAGE006
大小，生成通道注意力权重，接着将通道注意力权重与原始输入特征图相乘进而得到通道特征增强的特征图，之后空间表达增强的特征图和通道表达增强的特征图进行融合，得到空间、通道表达同时增强的特征图（如图3所示）；
步骤F、对步骤E得到的特征图，预测每个像素的类别概率，由于只需要分割出视交叉与背景，将概率值大于等于0.5的像素点置为1，认为其是视交叉区域，将概率值小于0.5的像素点置为0，认为其是背景区域；
步骤4、模型的训练与测试；
对分割完成的模型进行训练，将病人的脑部MRI图像输入上述建立的视交叉分割模型，由该模型输出分割结果，再计算输出的分割结果与神经外科的医师标注的该病人的脑部MRI图像视交叉分割标签间的误差，然后采用最速梯度下降算法完成网络模型中参数的更新，最终当输出的分割结果与分割标签间的误差满足结束条件时，得到训练完成的网络模型，采用了数据增广来缓解在模型训练过程中的过拟合现象，数据增广方法包括在[-10°，10°]中随机旋转，随机上下翻转，随机左右翻转，随机的弹性变换；
网络模型训练完成后，对网络的分类性能进行测试与评估，在划分好的测试数据集上，输入患者的MRI图像，对视交叉分割模型预测出的分割结果与神经外科的医师标注的该病人的脑部MRI图像视交叉分割标签进行统计与比对，Dice相似系数达到了0.85，分割结果与分割标签的豪斯多夫距离仅为2mm，说明分割结果在形状和边缘上都实现了良好的效果；
步骤5、将患者脑部MRI扫描影像输入视交叉分割模型，得到分割结果，再将分割结果按照视交叉受压迫程度测算得出受压迫程度的指标，从而定量的衡量视神经受压迫的严重程度。
视交叉受压迫程度测算，包括如下步骤：由训练完成的分割模型输出的分割结果的左下角作为坐标原点，建立直角坐标系，并将分割结果中目标区域的每个像素点作为一个样本点
Figure 888695DEST_PATH_IMAGE057
，假设共有
Figure 983690DEST_PATH_IMAGE058
个像素点，构成数据集
Figure 370809DEST_PATH_IMAGE059
；
由于视交叉受压迫后发生形变，其形状类似二次函数，因此设曲线函数
Figure 209452DEST_PATH_IMAGE060
Figure 818157DEST_PATH_IMAGE061
，即{\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),}二次函数中的各项系数，每个样本点的残差项为
Figure 84053DEST_PATH_IMAGE063
，并将曲线拟合转化为最优化问题
Figure 161731DEST_PATH_IMAGE064
采用莱文贝格-马夸特方法迭代求解
Figure 335223DEST_PATH_IMAGE065
，包括如下步骤：
步骤a、根据当前的系数
Figure 814746DEST_PATH_IMAGE066
，计算出雅可比矩阵
Figure 235232DEST_PATH_IMAGE067
：
Figure 800206DEST_PATH_IMAGE068
其中，
Figure 777389DEST_PATH_IMAGE069
代表求偏导，
Figure 376997DEST_PATH_IMAGE063
代表各项系数的残差，
Figure 719117DEST_PATH_IMAGE070
代表二次函数中的各项系数，
步骤b、根据
Figure 755075DEST_PATH_IMAGE071
计算出参数的变化量
Figure 535949DEST_PATH_IMAGE072
其中，
Figure 990064DEST_PATH_IMAGE067
代表雅可比矩阵，
Figure 768664DEST_PATH_IMAGE073
代表雅可比矩阵的转置，
Figure 777072DEST_PATH_IMAGE074
代表矩阵的迹，
Figure 548588DEST_PATH_IMAGE075
代表由
Figure 653947DEST_PATH_IMAGE076
组成的向量，
Figure 603448DEST_PATH_IMAGE077
为阻尼系数，用来控制每一步迭代的步长以及方向，
步骤c、更新
Figure 630310DEST_PATH_IMAGE065
：
Figure 425091DEST_PATH_IMAGE041
其中，
Figure 103066DEST_PATH_IMAGE078
和
Figure 20206DEST_PATH_IMAGE066
分别代表二次函数的更新后和更新前的系数，
Figure 268785DEST_PATH_IMAGE079
代表各项系数的变化量，
步骤d、如果满足收敛条件，则输出二次函数的各项系数
Figure 867256DEST_PATH_IMAGE065
，否则继续步骤1；
步骤e、根据曲率的定义，得出曲率
Figure 150470DEST_PATH_IMAGE080
:
Figure 238512DEST_PATH_IMAGE048
及上述计算出的的
Figure 223654DEST_PATH_IMAGE081
，计算出在
Figure 891396DEST_PATH_IMAGE082
时的最大曲率
Figure 763537DEST_PATH_IMAGE083
与平均曲率
Figure 225742DEST_PATH_IMAGE084
作为受压迫程度的指标；
分割结果按视交叉受压迫程度测算方法计算出曲率，然后采用T检验，得出p值远小于0.05，说明受压迫的视交叉曲率与未受压迫的视交叉曲率存在显著性差异，具有临床指导意义。
应用例
如图4所示，首先将患者脑部MRI扫描影像作为输入，使用训练完成的神经网络模型得到分割结果。然后，以分割结果的左下角作为坐标原点，建立直角坐标系，并按照所提出的视交叉受压迫程度方法，求出拟合曲线
Figure 245651DEST_PATH_IMAGE086
最终测算得出受压迫程度的定量指标，平均曲率为
Figure 966351DEST_PATH_IMAGE087
，最大曲率为
Figure 692999DEST_PATH_IMAGE088
。

Claims (8)

1.基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，包括如下步骤：
步骤1、获取蝶鞍区肿瘤患者的MRI图像，每例MRI图像标注有视交叉分割标签；
步骤2、对每例MRI图像进行中心裁切；
步骤3、建立视交叉分割模型，选择U-Net分割网络，并加入空间和通道注意力机制，对每例裁切后的MRI图像进行视交叉区域的分割；
步骤4、模型的训练与测试；
步骤5、将患者脑部MRI扫描影像输入视交叉分割模型，得到分割结果，再将分割结果按照视交叉受压迫程度测算得出受压迫程度的指标。
2.根据权利要求1所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，步骤3中视交叉分割模型的建立，包括如下步骤：
步骤A、使用3×3大小的卷积核、批次归一化和修正线性层来提取特征，得到特征图，该操作在每次进行上采样或者下采样前重复使用两次；
步骤B、下采样，使用2×2大小的最大池化层将特征图缩小为原来的一半，总共进行四次下采样操作；
步骤C、上采样，采用双线性插值方式对特征图进行上采样，将特征图扩大一倍，通过四次上采样，逐步恢复到原始图像大小；
步骤D、跨层连接，连接编码器和解码器，充分利用编码器中丰富的空间细节信息以及解码器中的语义信息将同一尺度的前后特征图拼接；
步骤E、在每步下采样和上采样之前，对任一输入的大小为
Figure 891795DEST_PATH_IMAGE001
，C为通道数，H为图像的高度，W为图像的宽度，通过采用1×1大小卷积来压缩通道将特征图压缩
Figure 602262DEST_PATH_IMAGE002
，然后使用Sigmoid函数来将特征图中的数值放缩到0到1之间，生成空间注意力权重，接着将空间注意力权重与原始特征图相乘从而获得空间表达增强的特征图，同时，对任意输入大小为
Figure 346227DEST_PATH_IMAGE001
大小的特征图采用全局池化操作来压缩空间信息将特征图压缩
Figure 192960DEST_PATH_IMAGE003
大小，生成通道注意力权重，接着将通道注意力权重与原始输入特征图相乘进而得到通道特征增强的特征图，之后空间表达增强的特征图和通道表达增强的特征图进行融合，得到空间、通道表达同时增强的特征图；
步骤F、对步骤E得到的特征图，预测每个像素的类别概率，由于只需要分割出视交叉与背景，将概率值大于等于0.5的像素点置为1，认为其是视交叉区域，将概率值小于0.5的像素点置为0，认为其是背景区域。
3.根据权利要求2所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，对分割完成的模型进行训练，将病人的脑部MRI图像输入上述建立的视交叉分割模型，由该模型输出分割结果，再计算输出的分割结果与标注的该病人的脑部MRI图像视交叉分割标签间的误差，然后采用最速梯度下降算法完成网络模型中参数的更新，最终当输出的分割结果与分割标签间的误差满足结束条件时，得到训练完成的网络模型。
4.根据权利要求3所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，视交叉受压迫程度测算，包括如下步骤：由训练完成的分割模型输出的分割结果的左下角作为坐标原点，建立直角坐标系，并将分割结果中目标区域的每个像素点作为一个样本点
Figure 511815DEST_PATH_IMAGE004
，假设共有
Figure 240736DEST_PATH_IMAGE005
个像素点，构成数据集
Figure 53972DEST_PATH_IMAGE006
；
由于视交叉受压迫后发生形变，其形状类似二次函数，因此设曲线函数
Figure 755211DEST_PATH_IMAGE007
，
Figure 730121DEST_PATH_IMAGE008
，即 {\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),}二次函数中的各项系数，每个样本点的残差项为
Figure 398868DEST_PATH_IMAGE009
，并将曲线拟合转化为最优化问题
Figure 750215DEST_PATH_IMAGE010
采用莱文贝格-马夸特方法迭代求解
Figure 368278DEST_PATH_IMAGE011
，包括如下步骤：
步骤a、根据当前的系数
Figure 779668DEST_PATH_IMAGE012
，计算出雅可比矩阵
Figure 420865DEST_PATH_IMAGE013
：
Figure 825170DEST_PATH_IMAGE014
其中，
Figure 501002DEST_PATH_IMAGE015
代表求偏导，
Figure 880031DEST_PATH_IMAGE009
代表各项系数的残差，
Figure 274103DEST_PATH_IMAGE016
代表二次函数中的各项系数，
步骤b、根据
Figure 967253DEST_PATH_IMAGE017
计算出参数的变化量
Figure 746859DEST_PATH_IMAGE018
其中，
Figure 234472DEST_PATH_IMAGE019
代表雅可比矩阵，
Figure 115840DEST_PATH_IMAGE020
代表雅可比矩阵的转置，
Figure 409418DEST_PATH_IMAGE021
代表矩阵的迹，
Figure 59843DEST_PATH_IMAGE022
代表由
Figure 967625DEST_PATH_IMAGE009
组成的向量，
Figure 70710DEST_PATH_IMAGE023
为阻尼系数，用来控制每一步迭代的步长以及方向；
步骤c、更新
Figure 105662DEST_PATH_IMAGE024
：
Figure 672909DEST_PATH_IMAGE025
其中，
Figure 767904DEST_PATH_IMAGE026
和
Figure 341974DEST_PATH_IMAGE027
分别代表二次函数的更新后和更新前的系数，
Figure 180617DEST_PATH_IMAGE028
代表各项系数的变化量，
步骤d、如果满足收敛条件，则输出二次函数的各项系数
Figure 805633DEST_PATH_IMAGE024
，否则继续步骤1；
步骤e、根据曲率的定义，得出曲率
Figure 71530DEST_PATH_IMAGE029
:
Figure 398475DEST_PATH_IMAGE030
及上述计算出的
Figure 40809DEST_PATH_IMAGE031
，计算出在
Figure 254752DEST_PATH_IMAGE032
时的最大曲率
Figure 691550DEST_PATH_IMAGE033
与平均曲率
Figure 505791DEST_PATH_IMAGE034
作为受压迫程度的指标。
5.根据权利要求3所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，视交叉分割模型训练完成后，对网络的分类性能进行测试与评估，在划分好的测试数据集上，输入患者的MRI图像，对视交叉分割模型预测出的分割结果与神经外科的医师标注的该病人的脑部MRI图像视交叉分割标签进行统计与比对。
6.根据权利要求4所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，分割结果按视交叉受压迫程度测算方法计算出曲率，然后采用T检验。
7.根据权利要求1所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，步骤1中，将MRI图像数据按照4:1随机划分为训练集和测试集。
8.根据权利要求3所述的基于神经网络的视神经自动分割和受压迫程度测算方法，其特征在于，步骤1中，采用了数据增广来缓解在模型训练过程中的过拟合现象，数据增广方法包括在[-10°，10°]中随机旋转，随机上下翻转，随机左右翻转，随机的弹性变换。
CN202111310100.0A 2021-11-08 2021-11-08 基于神经网络的视神经自动分割和受压迫程度测算方法 Active CN113744271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111310100.0A CN113744271B (zh) 2021-11-08 2021-11-08 基于神经网络的视神经自动分割和受压迫程度测算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111310100.0A CN113744271B (zh) 2021-11-08 2021-11-08 基于神经网络的视神经自动分割和受压迫程度测算方法

Publications (2)

Publication Number Publication Date
CN113744271A true CN113744271A (zh) 2021-12-03
CN113744271B CN113744271B (zh) 2022-02-11

Family

ID=78727571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111310100.0A Active CN113744271B (zh) 2021-11-08 2021-11-08 基于神经网络的视神经自动分割和受压迫程度测算方法

Country Status (1)

Country Link
CN (1) CN113744271B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842274A (zh) * 2022-06-27 2022-08-02 深圳市鑫诺诚科技有限公司 基于图像分析的导电泡棉弹性分析方法、装置及设备
CN115457038A (zh) * 2022-11-11 2022-12-09 北京鹰瞳科技发展股份有限公司 分级预测模型的训练方法、分级预测的方法及相关产品
CN117392138A (zh) * 2023-12-13 2024-01-12 四川大学 舌象图像处理方法、存储介质及电子设备
EP4316350A1 (en) * 2022-08-05 2024-02-07 Siemens Healthcare GmbH Image based detection of characteristic eye movements

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537669A (zh) * 2014-12-31 2015-04-22 浙江大学 眼底图像的动静脉视网膜血管分割方法
CN107563996A (zh) * 2017-08-23 2018-01-09 东北大学 一种新型视神经盘分割方法及系统
CN108182686A (zh) * 2017-12-28 2018-06-19 山东师范大学 基于曲线群匹配的oct眼底图像半自动分割方法和装置
CN110070546A (zh) * 2019-04-18 2019-07-30 山东师范大学 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统
EP3591614A1 (en) * 2018-07-06 2020-01-08 Charité - Universitätsmedizin Berlin Method and computer program for segmentation of optical coherence tomography images of the retina
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
CN112184720A (zh) * 2020-08-27 2021-01-05 首都医科大学附属北京同仁医院 一种ct图像的内直肌和视神经分割方法及系统
CN112508953A (zh) * 2021-02-05 2021-03-16 四川大学 基于深度神经网络的脑膜瘤快速分割定性方法
CN112634273A (zh) * 2021-03-10 2021-04-09 四川大学 一种基于深度神经网络的脑转移瘤分割系统及其构建方法
US20210158525A1 (en) * 2018-08-14 2021-05-27 Canon Kabushiki Kaisha Medical image processing apparatus, medical image processing method, computer-readable medium, and learned model

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537669A (zh) * 2014-12-31 2015-04-22 浙江大学 眼底图像的动静脉视网膜血管分割方法
CN107563996A (zh) * 2017-08-23 2018-01-09 东北大学 一种新型视神经盘分割方法及系统
CN108182686A (zh) * 2017-12-28 2018-06-19 山东师范大学 基于曲线群匹配的oct眼底图像半自动分割方法和装置
EP3591614A1 (en) * 2018-07-06 2020-01-08 Charité - Universitätsmedizin Berlin Method and computer program for segmentation of optical coherence tomography images of the retina
US20210158525A1 (en) * 2018-08-14 2021-05-27 Canon Kabushiki Kaisha Medical image processing apparatus, medical image processing method, computer-readable medium, and learned model
CN110070546A (zh) * 2019-04-18 2019-07-30 山东师范大学 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
CN112184720A (zh) * 2020-08-27 2021-01-05 首都医科大学附属北京同仁医院 一种ct图像的内直肌和视神经分割方法及系统
CN112508953A (zh) * 2021-02-05 2021-03-16 四川大学 基于深度神经网络的脑膜瘤快速分割定性方法
CN112634273A (zh) * 2021-03-10 2021-04-09 四川大学 一种基于深度神经网络的脑转移瘤分割系统及其构建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YANG ZHANG等: "Machine Learning-Based Radiomics of the Optic Chiasm Predict Visual Outcome Following Pituitary Adenoma Surgery", 《APPLICATION OF ARTIFICIAL INTELLIGENCE IN PERSONALIZED MEDICINE》 *
ZHUANGZHUANG ZHANG等: "Weaving attention U‐net: A novel hybrid CNN and attention‐based method for organs‐at‐risk segmentation in head and neck CT images", 《MEDICAL PHYSICS》 *
刘甘: "神经保护剂改善青光眼患者视功能效果的META分析", 《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》 *
沈镇炯等: "基于级联3D U-Net的CT和MR视交叉自动分割方法", 《中国医学物理学杂志》 *
陈丹等: "视神经颅内段受血管压迫的MRI诊断", 《中国CT和MRI杂志》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842274A (zh) * 2022-06-27 2022-08-02 深圳市鑫诺诚科技有限公司 基于图像分析的导电泡棉弹性分析方法、装置及设备
EP4316350A1 (en) * 2022-08-05 2024-02-07 Siemens Healthcare GmbH Image based detection of characteristic eye movements
US11983876B2 (en) 2022-08-05 2024-05-14 Siemens Healthineers Ag Image based detection of characteristic eye movements
CN115457038A (zh) * 2022-11-11 2022-12-09 北京鹰瞳科技发展股份有限公司 分级预测模型的训练方法、分级预测的方法及相关产品
CN115457038B (zh) * 2022-11-11 2023-08-22 北京鹰瞳科技发展股份有限公司 分级预测模型的训练方法、分级预测的方法及相关产品
CN117392138A (zh) * 2023-12-13 2024-01-12 四川大学 舌象图像处理方法、存储介质及电子设备
CN117392138B (zh) * 2023-12-13 2024-02-13 四川大学 舌象图像处理方法、存储介质及电子设备

Also Published As

Publication number Publication date
CN113744271B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN113744271B (zh) 基于神经网络的视神经自动分割和受压迫程度测算方法
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN111161273B (zh) 一种基于深度学习的医学超声图像分割方法
EP2647335B1 (en) Medical image processing device
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及系统
CN111754520B (zh) 一种基于深度学习的脑血肿分割方法及系统
CN112508953B (zh) 基于深度神经网络的脑膜瘤快速分割定性方法
CN110619635B (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
Gerig et al. Medical imaging and computer vision: An integrated approach for diagnosis and planning
CN105654425A (zh) 一种应用于医学x光图像的单幅图像超分辨率重建方法
CN113034507A (zh) 基于ccta影像的冠状动脉三维分割方法
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN112508884A (zh) 一种癌变区域综合检测装置及方法
CN114882048A (zh) 基于小波散射学习网络的图像分割方法和系统
CN116152560A (zh) 一种基于多任务学习的胶质瘤图像分类方法及系统
CN116309806A (zh) 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法
CN114119558B (zh) 一种自动生成鼻咽癌影像诊断结构化报告方法
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
CN116309385B (zh) 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统
CN115810139B (zh) 一种spect图像的目标区域识别方法及系统
CN116597041B (zh) 一种脑血管病核磁影像清晰度优化方法、系统及电子设备
CN113643317B (zh) 基于深度几何演化模型的冠状动脉分割方法
Ciora et al. A Simple Method for 3D Thyroid Reconstruction from 2D Ultrasound Slices
CN114549558A (zh) 一种基于多模态特征融合Vnet的乳腺肿块分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant