CN114387282A - 一种医学影像器官精准自动分割方法及系统 - Google Patents

一种医学影像器官精准自动分割方法及系统 Download PDF

Info

Publication number
CN114387282A
CN114387282A CN202111491700.1A CN202111491700A CN114387282A CN 114387282 A CN114387282 A CN 114387282A CN 202111491700 A CN202111491700 A CN 202111491700A CN 114387282 A CN114387282 A CN 114387282A
Authority
CN
China
Prior art keywords
medical image
organ
target region
segmentation
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111491700.1A
Other languages
English (en)
Inventor
罗雄彪
万英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111491700.1A priority Critical patent/CN114387282A/zh
Publication of CN114387282A publication Critical patent/CN114387282A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种医学影像器官精准自动分割方法及系统，方法包括：步骤1：提取器官的轮廓掩模信息；步骤2：利用器官轮廓掩模信息，基于深度神经网络进行目标区域分割；步骤3：对深度神经网络分割的目标区域进行最优化处理。本发明的医学影像器官精准自动分割方法及系统，使用器官轮廓掩模信息作为训练深度神经网络的输入，有利于解决医学影像中前景(目标)区域太小背景区域太大导致网络训练模型欠拟合或过拟合问题，在保证分割精度的同时，极大地优化了网络训练时间，提高了分割速度。

Description

一种医学影像器官精准自动分割方法及系统
技术领域
本发明属于医学影像技术领域，特别涉及一种医学影像器官精准自动分割方法及系统。
背景技术
近年来，由于人们不规律的饮食和作息，导致胰腺疾病的发病率逐年显著上升，尤其是胰腺癌，为致死率最高的肿瘤之一，素有“癌中之王”之称，其五年生存率仅小于1％。早期胰腺癌可通过临床手术的方式加以针对性的治疗，但由于该症发病隐匿，早期无明显症状，严重影响了医生对早期胰腺癌的诊断。通常当病人出现明显消瘦、疼痛等症状时，已经是胰腺癌中晚期，错过了手术最佳时期。即使采取了针对性的临床治疗方案，整体预后情况也并不理想。因此，胰腺癌的早期诊断与治疗，具有重要的研究价值，同时在临床上也具有重要意义。
随着医疗设备的巨大进步和影像组学技术的迅猛发展，在医学图像上对胰腺解剖结构进行自动检测、分割、分类以及三维重建表征等，能够显著提高临床医生对胰腺疾病的早期诊断率，从而实施更为高效精确的治疗方式。由于胰腺的解剖结构复杂，形态、位置变异较大，周围有大量邻近组织与胰腺紧密相连且密度相似，灰度对比不明显。传统的分割方法仅凭灰度信息无法实现精确的胰腺分割。同时，由于医学图像的成像原理和组织本身的特性差异，使得图像的形成易受到诸如噪声、组织运动等影响。这些因素大大增加了胰腺分割的难度，即便是经验丰富的影像科医生对胰腺进行手动分割也是个很大的挑战。此外，胰腺的形态、位置因人而异，甚至同一个人的不同时期、不同医学影像切片的形态和位置也不相同，加上医学图像数据量极大，给医生带来了沉重的脑力和体力负担，可能导致漏诊或误诊的发生。
胰腺分割经历了手动分割到半自动分割再到全自动分割的发展过程。其中，手动分割是指根据医生的临床经验和解剖学知识，手动地在胰腺医学图像中标注出属于胰腺的区域，这种方法效率低，准确度低，主观性强，同时需要具备足够的专业技能。
半自动分割主要是基于医生的专业知识来处理胰腺影像图像，利用阈值、简单线性迭代聚类等算法先计算出胰腺概率图(Probability Map)，再采用不同的统计模型算法对概率图谱进行处理以实现最终的胰腺分割。这类方法主要是基于概率图和统计模型算法，极大地提高了分割速度，降低了人工干预，但分割精度往往不高，鲁棒性差。
全自动分割是指只利用计算机和算法模型对胰腺影像进行分割，完全不需要人工干预。全自动方法主要包含两类：基于图谱(Atlas)的配准算法和基于卷积神经网络(Convolutional Neural Networks：CNN)深度方法。基于图谱(Atlas)的配准算法是首先利用标注的胰腺区域，构建胰腺图谱，然后利用配准算法，对照构建的胰腺图谱，分割出医学影像的胰腺结构。深度学习方法主要是利用CNNs模型对医学影像进行分类从而达到自动分割目的。对于一般的分类CNN网络，如VGG(Visual Geometry Group Network)和ResNet(Residual Network，残差网络)，先对胰腺影像图像进行初步切割，形成若干个尺度相同的像素块，在此基础上对各个像素块进行分类以完成分割。目前主流的胰腺分割方法是利用全连接神经网络(Fully Connected Networks:FCN)和U-Net模型，进行直接端到端的针对性分割：将胰腺三维医学影像(例如CT或核磁共振图像)沿轴向面、冠状面和矢状面三个方向做成二维切片，分别输入到三个FCN网络中进行训练，并通过多次迭代，以实现最终的胰腺分割。这种方法虽然极大的提高了分割精度，但是网络需要10个小时的训练时间。
对于胰腺分割算法，目前大多数研究者都是通过迭代网络或多阶段网络来提高胰腺的分割精度，但代价是大大增加了分割所要消耗的时间。而对于临床医学而言，如果不能及时显示分割结果，辅助医生的诊断与治疗也变得不切实际。
同时，由于人体环境的复杂性、多样性，对于其他器官，特别是内脏器官的影像分割过程，也具有与胰腺影像分割相似的问题。
因此，设计一种有效、快速且精确的医学影像器官分割方案，显得尤为重要。
发明内容
针对上述问题，本发明提供一种医学影像器官精准自动分割方法，包括：
步骤1：提取器官的轮廓掩模信息；
步骤2：利用器官轮廓掩模信息，基于深度神经网络进行目标区域分割；
步骤3：对深度神经网络分割的目标区域进行最优化处理。
进一步地，方法包括：
步骤11：获取标注器官区域的标注真实医学影像数据Y＝{y1,y2,…yi…}，利用这些标注真实影像数据Y，加入随机噪声，生产噪声医学影像数据N＝{n1,n2,…ni…}，其中i表示第i张医学影像切片，yi表示第i张医学影像切片的标注真实医学影像数据，ni表示第i张医学影像切片的噪声医学影像数据；
步骤12：利用Y和N，训练固定点模型，获得上下文目标区域预测函数F及预分割结果gi：gi＝F(ni,yi；φ)，φ为训练学习到的参数，该参数用于描述标注真实医学影像数据Y和噪声医学影像数据N之间关系的向量矩阵；
步骤13：利用上下文目标区域预测函数F，分别产生轴向面、冠状面和矢状面三个方向的目标区域预测函数：轴向面方向的目标区域预测函数FA、冠状面方向的目标区域预测函数FC和矢状面方向的目标区域预测函数FS；
步骤14：对于一个输入待分割三维医学影像数据X＝{x1,x2,…xk…}，k表示第k张医学影像切片，xk为第k张医学影像切片的影像数据，利用三个方向的目标区域预测函数FA、FC和FS，对应生成三个方向的器官轮廓掩模信息XA、XC和XS，XA为轴向面方向的器官轮廓掩模信息，XC为冠状面方向的器官轮廓掩模信息，XS为矢状面方向的器官轮廓掩模信息。
进一步地，所述深度神经网络包括编码块和解码块，所述编码块和解码块分别采用密集残差U型结构块。
进一步地，所述密集残差U型结构块包括输入卷积层、U型对称编码解码结构块和残差连接层，U型对称编码解码结构块的层数为L。
进一步地，输入卷积层用于把输入的通道数为Cin的特征图ψ变换为Cout个通道中间局部特征图B1(ψ)，以提取局部特征信息。
进一步地，U型对称编码解码结构块包括L-2个上采样模块和L-2个上采样模块；
L-2个上采样模块依次连接，用于对输入数据执行L-2次次卷积上采样操作，具体包括：上采样、卷积、批量归一化和ReLU激活；
L-2个下采样模块依次连接，用于对输入数据执行L-2次次卷积下采样操作，具体包括：下采样、卷积、批量归一化和ReLU激活。
进一步地，方法包括：
设置层数L，提取多尺度空间分辨率的特征图。
进一步地，所述残差连接层用于融合局部特征图B1(ψ)和上下文多尺度特征图U(B1(ψ))。
进一步地，深度神经网络采用U型结构，包括编码过程和解码过程；
编码过程：执行N各编码块，其中，先执行N-2个层数依次递减的密集残差U型结构块进行编码，然后执行2个编码块进行空洞卷积、批量归一化和激活；
解码过程与编码过程相对应，先通过1个解码块来执行空洞卷积、批量归一化和激活；再执行N-2个层数依次递减的密集残差U型结构块进行解码，解码块的密集残差U型结构块与对应深度的编码块中的密集残差U型结构块层数相同。
进一步地，利用标注真实医学影像数据Y＝{y1,y2,…yi…}，训练得到最终的深度神经网络。
进一步地，基于深度神经网络进行目标区域分割包括：
对于一个输入测试三维医学影像数据X＝{x1,x2,…xk…}，提取到的器官掩模信息XA、XC和XS，输入到训练过深度神经网络进行分割，获得三个方向上的目标区域分割(输出)结果：轴向面方向目标区域ZA、冠状面方向目标区域ZC和矢状面方向目标区域ZS；
其中，XA为轴向面方向的器官轮廓掩模信息，XC为冠状面方向的器官轮廓掩模信息，XS为矢状面方向的器官轮廓掩模信息。
进一步地，对深度神经网络分割的目标区域进行最优化处理包括：
步骤31：利用标注真实医学影像数据Y＝{y1,y2,…yi…}，获得目标区域形状信息S＝{s1,s2,…si…}，其中，i表示第i张医学影像切片，si表示第i张医学影像切片的目标区域形状信息，利用目标区域形状信息S训练RKSSM模型，获得RKSSM学习参数；
步骤32：对于一个待分割三维医学影像数据X＝{x1,x2,…xk…}，利用训练所获得的RKSSM模型和概率图M，产生目标区域初始形状C0＝{c1,c2,…ck…}，其中Ck表示第k张医学影像切片的目标区域初始形状；根据贝叶斯法则，最优目标区域分割形状C应该满足如下贝叶斯方程：
p(C|X,M)∝p(X,M|C)p(C),C＝C0
其中，p(X,M|C)是目标区域分割形状C的最大似然估计，p(C)是先验形状概率，p(C|X,M)是在X，M条件下的C的概率，将C0作为C的初始值；
步骤33：引入高斯混合模型，同时利用概率图M的贝叶斯方程，迭代求解上述方程中的p(X,M|C)，直到获得最大似然估计，从而获得最优的目标区域分割形状C，
其中，M为目标区域分割的概率图，是对于一个输入的待分割三维医学影像数据X＝{x1,x2,…xk…}，利用Sigmoid函数对在轴向面、冠状面和矢状面三个方向上所分割出来的目标区域ZA、ZC和ZS进行处理而产生的；概率图M＝{m1,m2,…mk…}：
Figure BDA0003399616590000061
其中，k表示第k张医学影像切片，mk为第k张医学影像切片的概率图，
Figure BDA0003399616590000071
分别为第k张医学影像切片的在轴向面、冠状面和矢状面三个方向的目标区域。
本发明实施例提供一种医学影像器官精准自动分割系统，包括：
掩模提取模块，用于提取器官的轮廓掩模信息；
区域分割模块，用于利用器官轮廓掩模信息，基于深度神经网络进行目标区域分割；
优化处理模块，用于对深度神经网络分割的目标区域进行最优化处理。
本发明的医学影像器官精准自动分割方法及系统，使用器官轮廓掩模信息作为训练深度神经网络的输入，有利于解决医学影像中前景(目标)区域太小背景区域太大导致网络训练模型欠拟合或过拟合问题，在保证分割精度的同时，极大地优化了网络训练时间，提高了分割速度。
现有技术在进行胰腺分割时，采用的是二维深度神经网络结构，没有考虑到胰腺医学影像的三维空间信息，本发明使用深度神经网络DS-U-Net，同时从三个方向进行处理，充分考虑到了三维医学影像的空间位置关系，更贴合现实。此外，DS-U-Net能强化胰脏的边界轮廓信息，提高分割精确率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明实施例的一种医学影像器官精准自动分割方法流程示意图；
图2示出了根据本发明实施例的DS-U-Net网络的密集残差U型结构块结构关系示意图；
图3示出了根据本发明实施例的DS-U-Net网络架构示意图；
图4示出了根据本发明实施例的一种医学影像器官精准自动分割系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提出一种医学影像器官精准自动分割方法，该方法基于轮廓(形状)掩模、深度神经网络、统计贝叶斯形状模型进行最优化的医学影像器官自动分割，实现精准而快速的器官自动分割。
下面以胰脏器官为例，对医学影像器官精准自动分割方法进行示例性地详细说明。
医学影像器官精准自动分割方法主要包括以下步骤：
步骤1：提取器官的轮廓(形状)掩模信息；
步骤2：利用器官轮廓掩模信息，基于深度神经网络进行目标区域分割；
步骤3：对深度神经网络分割的目标区域进行最优化处理。各步骤分别阐述如下：
在步骤1中，提取医学影像的器官轮廓掩模信息的目的在于解决因背景与前景目标区域数据不平衡而导致的训练过拟合或欠拟合问题。本发明实施例采用固定点模型(fixed-point model)从三个方向即轴向面(Axial)、冠状面(Coronal)和矢状面(Sagittal)，提取医学影像器官轮廓掩模信息，主要包括如下步骤：
步骤11：获取标注器官(胰腺)区域的标注真实医学影像数据Y＝{y1,y2,…yi…}，利用这些标注真实影像数据Y，加入随机噪声，生产噪声医学影像数据N＝{n1,n2,…ni…}，其中i表示第i张医学影像切片。yi表示第i张医学影像切片的标注真实医学影像数据，ni表示第i张医学影像切片的噪声医学影像数据。
步骤12：利用影像数据Y和N，训练固定点模型，获得上下文目标区域预测函数F及预分割结果gi：gi＝F(ni,yi；φ)，φ为训练学习到的参数，该参数用于描述标注真实医学影像数据Y和噪声医学影像数据N之间关系的向量矩阵。
其中，固定点模型示例性地可参考但不限于文献“Quannan Li,Jingdong Wang,David Wipf,Zhuowen Tu.Fixed-Point Model for Structured Labeling.InternationalConference on Machine Learning(ICML 2013)”实现。该文献以引用方式全文并入本发明实施例。
除了固定点模型方法以外，该步骤还可以采用回归森林算法(RegressionForests)、基于超像素的分类森林方法(Classification Forests)、深度回归森林方法(Deep Regression Forests)、神经随机森林方法(Neural Random Forests)等。
步骤13：利用上下文目标区域预测函数F，分别产生轴向面、冠状面和矢状面三个方向的目标区域预测函数FA、FC和FS。其中，FA是F的轴向面方向的目标区域预测函数，FC是F的冠状面方向的目标区域预测函数，FS是F的矢状面方向的目标区域预测函数。
步骤14：如图1所示，对于一个输入待分割三维医学影像数据X＝{x1,x2,…xk…}(k表示第k张医学影像切片，xk为第k张医学影像切片的影像数据)，利用步骤13所获得三个方向的目标区域预测函数FA、FC和FS，对应生成三个方向的器官轮廓掩模信息XA、XC和XS，XA为轴向面方向的器官轮廓掩模信息，XC为冠状面方向的器官轮廓掩模信息，XS为矢状面方向的器官轮廓掩模信息。
引入提取器官感兴趣区域(目标区域)的器官轮廓掩模信息，有利于解决深度神经网络训练的过拟合或欠拟合问题。
步骤2：基于深度神经网络进行目标区域分割。深度神经网络可以采用V-Net(Fully Convolutional Neural Networks for Volumetric Medical ImageSegmentation)、U-Net(Convolutional Networks for Biomedical ImageSegmentation)、全卷积神经网络(Fully Convolutional Networks:FCN)、密集连接卷积神经网络(Densely Connected Convolutional Networks：DenseNet)、Dense V-Net(密集V-Net)、Dense U-Net(密集U-Net)等。本发明实施例优选地采用一种基于密集连接平方U-Net(Dense Squared U-Net：DS-U-Net)。该DS-U-Net网络包括编码器Encoder(编码块)和解码器Decoder(解码块)。
步骤21：构建(或获取)进行目标区域分割的深度卷积神经网络模型，网络模型的结构和处理过程如下。
深度卷积神经网络DS-U-Net的编码器和解码器都是由一个密集残差U型结构块组成。密集残差U型结构块主要执行的操作包括下采样、卷积、激活函数ReLU、批量归一化和上采样。以网络层数L＝7为例，密集残差U型结构块的整体结构如图2所示，能够有效提取不同阶段层之间的多尺度特征信息，主要三个部分组成：
(1)输入卷积层：把输入的通道数为Cin的特征图ψ变换为Cout个通道中间局部特征图B1(ψ)，这层主要执行卷积操作，提取局部特征信息，使用的卷积核大小为3×3。输入卷积层见图2中左侧从上往下的第1、2个框所述。
(2)L层U型对称编码解码结构块,也称为中间结构块。中间结构块包含3个卷积模块，L-2个上采样模块和L-2个上采样模块。其中3个卷积模块中，第一卷积模块用于对Cout个通道的中间特征图B1(ψ)进行卷积，得到M个通道的上下文多尺度特征图U(B1(ψ))。执行密集残差U型结构块时,首先执行第一卷积块，包括：卷积、批量归一化和激活；再执行上采样模块，L-2个上采样模块依次连接，用于对中间特征图B1(ψ)进行连续进行(L-2)次卷积下采样操作，具体包括：下采样+卷积+批量归一化+ReLU(Rectified Linear Unit)激活。3个卷积模块中的第二卷积模块用于对L-2个下采样模块的处理后的中间特征图B1(ψ)进行卷积归一操作，具体包括：卷积、批量归一化和激活。3个卷积模块中的第三卷积模块连接于第二卷积模块，用于对第二卷积模块处理输出的数据进行卷积归一操作，具体包括：卷积、批量归一化和激活。L-2个上采样模块依次连接，对第三卷积模块处理后的数据进行L-2次卷积上采样操作，具体包括：上采样+卷积+批量归一化+ReLU激活。理论上来说，层数L越大，结构块深度越深，池化操作越多，这会带来更大特征感受视野和更丰富的局部与全局的特征信息。通过设置参数层数L，可以提取多尺度空间分辨率的特征图；
(3)残差连接层用于融合局部特征图B1(ψ)和上下文多尺度特征图U(B1(ψ))，亦即B1(ψ)+U(B1(ψ))。见图2中右侧从上之下第1、2层的框。具体地，L-2个上采样模块和第三卷积模块的输入数据是通过残差连接层将各个模块的前一个模块的局部特征图B1(ψ)和对应深度的下采样模块的上下文多尺度特征图U(B1(ψ))融合(相加)得到的。数据通道为2M。本发明实施例通过将局部特征图和多尺度特征图密集连接，能够对图像的轮廓信息和边缘信息进行充分提取。
在另外的实施例中，L也可以等于5，即采用5层的密集残差U型结构块，L为正整数，且大于2。
深度卷积神经网络DS-U-Net主要是由密集残差U型结构块所构成的编码器和解码器组成的U型架构，其中在一个DS-U-Net中能够包含多个层数(L值)不同的密集残差U型结构的层数。DS-U-Net的网络架构如图3所示。
下面结合DS-U-Net执行过程和结构进行说明。
(1)编码过程：编码过程执行N各编码块，其中，先执行N-2个层数依次递减的密集残差U型结构块进行编码，然后执行2个编码块进行空洞卷积、批量归一化、激活。
示例性地，首先执行4个L层的密集残差U型结构块(L＝7,6,5,4)：编码块1(L＝7)、编码块2(L＝6)、编码块3(L＝5)、编码块4(L＝4),进行编码操作，然后执行编码块5和编码块6，这两个块主要利用空洞卷积、批量归一化、激活等操作取代池化操作和上采样操作。
(2)解码过程与编码过程的结构是相类似。解码块5执行空洞卷积、批量归一化、激活操作，与编码块5相对应。然后依次执行4个L层的密集残差U型结构块(L＝4,5,6,7)：解码块4(L＝4)、解码块3(L＝5)、解码块2(L＝6)、解码块1(L＝7)，进行对应的解码操作。
通过解码(编码块6既视为编码块也可以视为解码块)主要产生(输出)6个分割概率图，然后对6个分割概率图进行拼接，产生融合概率图，获得分割结果。
其中，概率图是对于一个输入的待分割三维医学影像数据X＝{x1,x2,…xk…}，利用Sigmoid函数对在轴向面、冠状面和矢状面三个方向上所分割出来的目标区域ZA、ZC和ZS进行处理而产生的。概率图M＝{m1,m2,…mk…}：
Figure BDA0003399616590000131
其中，k表示第k张医学影像切片，mk为第k张医学影像切片的概率图，
Figure BDA0003399616590000132
分别为第k张医学影像切片的在轴向面、冠状面和矢状面三个方向的目标区域。
解码过程与编码过程相对应，先通过1个解码块执行空洞卷积、批量归一化、激活；再执行N-2个层数依次递减的密集残差U型结构块进行解码，解码块的密集残差U型结构块与对应深度的编码块中的密集残差U型结构块层数相同。前一个解码块将自身输出结果和对应深度的编码块输出结果拼接后作为下一个解码块的输入，以实现特征重用。通过解码获得N个分割概率图，然后对N个分割概率图进行拼接，产生融合概率图，获得分割结果。
本发明示例中，DS-U-Net网络模型主要包括6个阶段的编码过程、5阶段的解码过程以及融合过程。该网络模型的优点有：与其他神经网络模型相比，能够提取更为丰富的多尺度特征，相对比较低的计算量和内存消耗；此外，由于密集残差U型结构块未使用到任何图像分类中的预训练模型，因此，DS-U-Net网络模型可以比较容易和灵活应用解决其他的计算机视觉图像问题。
步骤22：利用标注真实医学影像数据Y＝{y1,y2,…yi…}，训练DS-U-Net网络模型，获得预训练的DS-U-Net网络模型。
其中，步骤21和步骤22在初次构建或初次训练深度神经网络时进行，后续可以直接获取训练好的深度神经网络，进行目标区域分割。
步骤23：对于一个输入测试三维医学影像数据X＝{x1,x2,…xk…}，利用步骤1提取到的器官掩模信息(数据)XA、XC和XS，输入到训练过的DS-U-Net模型进行分割，获得三个方向上的目标区域分割(输出)结果：轴向面方向目标区域ZA、冠状面方向目标区域ZC和矢状面方向目标区域ZS，如图1所示。并产生目标区域分割结果的概率图M。
本发明实施例中的DS-U-Net网络框架，充分利用胰腺医学影像的空间信息，能够减少特征丢失；DS-U-Net网络鼓励特征重用，避免学习冗余特征图，降低了出现过度拟合化问题的几率；DS-U-Net的密集连接机制,保证了各层之间的最大信息流，简化了网络训练；添加辅助侧路径(特征重用)，改善了网络内的梯度流，增加梯度传播并稳定学习过程。同时，利用该新网络方法能增强胰脏的边缘、边界轮廓信息，提高分割精确率。
步骤3：目标区域分割最优化处理。目标区域经过深度神经网络分割后，还需进行最优化处理，进一步提高分割精度。本发明实施例中提出的最优化过程是精准深度学习医学影像自动分割方法的重要步骤。最优化处理的实施是利用医学影像胰脏体素点空间位置约束(立体的三维像素点在三个方向上的综合概率，即分割结果的概率图)，最优化方法可以是贝叶斯模型、随机森林算法(Random Forests)等。本发明实施例以贝叶斯模型为例，优化步骤2输出的分割结果，如图1所示：
步骤31：利用标注真实医学影像数据Y＝{y1,y2,…yi…}，获得目标区域形状信息S＝{s1,s2,…si…}，其中，i表示第i张医学影像切片，si表示第i张医学影像切片的目标区域形状信息，利用目标区域形状信息S训练稳健核统计形状模型(Robust KernelStatistical Shape Model：RKSSM)，获得RKSSM学习参数；
步骤32：对于一个待分割三维医学影像数据X＝{x1,x2,…xk…}，利用训练所获得的RKSSM和概率图M，产生目标区域初始形状C0＝{c1,c2,…ck…}，其中Ck表示第k张医学影像切片的目标区域初始形状。根据贝叶斯法则，最优目标区域分割形状C应该满足如下贝叶斯方程：
p(C|X,M)∝p(X,M|C)p(C),C＝C0
其中，p(X,M|C)是目标区域分割形状C的最大似然估计，p(C),是先验形状概率，p(C|X,M)是在X，M条件下的C的概率，将C0作为C的初始值。
步骤33：引入高斯混合模型(Gaussian Mixture Model)，同时利用概率图M，迭代求解上述方程中的p(X,M|C)，获得最大似然估计，从而获得最优的目标区域分割形状C。每个迭代中，以高斯混合模型为代价函数，根据贝叶斯方程判断迭代是否收敛，如果收敛，则将此时的目标区域分割形状C作为最优目标分割结果，如果未收敛，则更新目标区域分割形状C，继续迭代。
通过引入基于空间位置信息或形状先验知识的最优化方案，进一步精准分割结果,剔除或减少误分割胰脏区域，提高了影像器官分割的准确度。
本发明实施例的医学影像器官精准自动分割方法泛化能力很强，除了能够对胰脏进行分割以外，也可以对腹部其他器官如肝脏、脾脏、肾脏、胃等进行精准分割。
基于相同的发明构思，本发明实施例还提供一种医学影像器官精准自动分割系统，如图4所示，系统包括：
掩模提取模块，用于提取器官的轮廓掩模信息；
区域分割模块，用于利用器官轮廓掩模信息，基于深度神经网络进行目标区域分割；
优化处理模块，用于对深度神经网络分割的目标区域进行最优化处理。
本发明实施例的医学影像器官精准自动分割系统的各个模块具体实现方式可以根据本发明医学影像器官精准自动分割方法的任意实施例获得，不再赘述。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种医学影像器官精准自动分割方法，其特征在于，包括：
步骤1：提取器官的轮廓掩模信息；
步骤2：利用器官轮廓掩模信息，基于深度神经网络进行目标区域分割；
步骤3：对深度神经网络分割的目标区域进行最优化处理。
2.根据权利要求1所述的医学影像器官精准自动分割方法，其特征在于，包括：
步骤11：获取标注器官区域的标注真实医学影像数据Y＝{y1,y2,…yi…}，利用这些标注真实影像数据Y，加入随机噪声，生产噪声医学影像数据N＝{n1,n2,…ni…}，其中i表示第i张医学影像切片，yi表示第i张医学影像切片的标注真实医学影像数据，ni表示第i张医学影像切片的噪声医学影像数据；
步骤12：利用Y和N，训练固定点模型，获得上下文目标区域预测函数F及预分割结果gi：gi＝F(ni,yi；φ)，φ为训练学习到的参数，该参数用于描述标注真实医学影像数据Y和噪声医学影像数据N之间关系的向量矩阵；
步骤13：利用上下文目标区域预测函数F，分别产生轴向面、冠状面和矢状面三个方向的目标区域预测函数：轴向面方向的目标区域预测函数FA、冠状面方向的目标区域预测函数FC和矢状面方向的目标区域预测函数FS；
步骤14：对于一个输入待分割三维医学影像数据X＝{x1,x2,…xk…}，k表示第k张医学影像切片，xk为第k张医学影像切片的影像数据，利用三个方向的目标区域预测函数FA、FC和FS，对应生成三个方向的器官轮廓掩模信息XA、XC和XS，XA为轴向面方向的器官轮廓掩模信息，XC为冠状面方向的器官轮廓掩模信息，XS为矢状面方向的器官轮廓掩模信息。
3.根据权利要求1所述的医学影像器官精准自动分割方法，其特征在于，
所述深度神经网络包括编码块和解码块，所述编码块和解码块分别采用密集残差U型结构块。
4.根据权利要求3所述的医学影像器官精准自动分割方法，其特征在于，
所述密集残差U型结构块包括输入卷积层、U型对称编码解码结构块和残差连接层，U型对称编码解码结构块的层数为L。
5.根据权利要求4所述的医学影像器官精准自动分割方法，其特征在于，
输入卷积层用于把输入的通道数为Cin的特征图ψ变换为Cout个通道中间局部特征图B1(ψ)，以提取局部特征信息。
6.根据权利要求5所述的医学影像器官精准自动分割方法，其特征在于，
U型对称编码解码结构块包括L-2个上采样模块和L-2个上采样模块；
L-2个上采样模块依次连接，用于对输入数据执行L-2次次卷积上采样操作，具体包括：上采样、卷积、批量归一化和ReLU激活；
L-2个下采样模块依次连接，用于对输入数据执行L-2次次卷积下采样操作，具体包括：下采样、卷积、批量归一化和ReLU激活。
7.根据权利要求6所述的医学影像器官精准自动分割方法，其特征在于，包括：
设置层数L，提取多尺度空间分辨率的特征图。
8.根据权利要求6所述的医学影像器官精准自动分割方法，其特征在于，
所述残差连接层用于融合局部特征图B1(ψ)和上下文多尺度特征图U(B1(ψ))。
9.根据权利要求3-8中任一项所述的医学影像器官精准自动分割方法，其特征在于，
深度神经网络采用U型结构，包括编码过程和解码过程；
编码过程：执行N各编码块，其中，先执行N-2个层数依次递减的密集残差U型结构块进行编码，然后执行2个编码块进行空洞卷积、批量归一化和激活；
解码过程与编码过程相对应，先通过1个解码块来执行空洞卷积、批量归一化和激活；再执行N-2个层数依次递减的密集残差U型结构块进行解码，解码块的密集残差U型结构块与对应深度的编码块中的密集残差U型结构块层数相同。
10.根据权利要求9所述的医学影像器官精准自动分割方法，其特征在于，
利用标注真实医学影像数据Y＝{y1,y2,…yi…}，训练得到最终的深度神经网络。
11.根据权利要求9所述的医学影像器官精准自动分割方法，其特征在于，基于深度神经网络进行目标区域分割包括：
对于一个输入测试三维医学影像数据X＝{x1,x2,…xk…}，提取到的器官掩模信息XA、XC和XS，输入到训练过深度神经网络进行分割，获得三个方向上的目标区域分割(输出)结果：轴向面方向目标区域ZA、冠状面方向目标区域ZC和矢状面方向目标区域ZS；
其中，XA为轴向面方向的器官轮廓掩模信息，XC为冠状面方向的器官轮廓掩模信息，XS为矢状面方向的器官轮廓掩模信息。
12.根据权利要求1-8中任一项所述的医学影像器官精准自动分割方法，其特征在于，对深度神经网络分割的目标区域进行最优化处理包括：
步骤31：利用标注真实医学影像数据Y＝{y1,y2,…yi…}，获得目标区域形状信息S＝{s1,s2,…si…}，其中，i表示第i张医学影像切片，si表示第i张医学影像切片的目标区域形状信息，利用目标区域形状信息S训练RKSSM模型，获得RKSSM学习参数；
步骤32：对于一个待分割三维医学影像数据X＝{x1,x2,…xk…}，利用训练所获得的RKSSM模型和概率图M，产生目标区域初始形状C0＝{c1,c2,…ck…}，其中Ck表示第k张医学影像切片的目标区域初始形状；根据贝叶斯法则，最优目标区域分割形状C应该满足如下贝叶斯方程：
p(C|X,M)∝p(X,M|C)p(C),C＝C0
其中，p(X,M|C)是目标区域分割形状C的最大似然估计，p(C)是先验形状概率，p(C|X,M)是在X，M条件下的C的概率，将C0作为C的初始值；
步骤33：引入高斯混合模型，同时利用概率图M的贝叶斯方程，迭代求解上述方程中的p(X,M|C)，直到获得最大似然估计，从而获得最优的目标区域分割形状C，
其中，M为目标区域分割的概率图，是对于一个输入的待分割三维医学影像数据X＝{x1,x2,…xk…}，利用Sigmoid函数对在轴向面、冠状面和矢状面三个方向上所分割出来的目标区域ZA、ZC和ZS进行处理而产生的；概率图M＝{m1,m2,…mk…}：
Figure FDA0003399616580000051
其中，k表示第k张医学影像切片，mk为第k张医学影像切片的概率图，
Figure FDA0003399616580000052
分别为第k张医学影像切片的在轴向面、冠状面和矢状面三个方向的目标区域。
13.一种医学影像器官精准自动分割系统，其特征在于，包括：
掩模提取模块，用于提取器官的轮廓掩模信息；
区域分割模块，用于利用器官轮廓掩模信息，基于深度神经网络进行目标区域分割；
优化处理模块，用于对深度神经网络分割的目标区域进行最优化处理。
CN202111491700.1A 2021-12-08 2021-12-08 一种医学影像器官精准自动分割方法及系统 Pending CN114387282A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111491700.1A CN114387282A (zh) 2021-12-08 2021-12-08 一种医学影像器官精准自动分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111491700.1A CN114387282A (zh) 2021-12-08 2021-12-08 一种医学影像器官精准自动分割方法及系统

Publications (1)

Publication Number Publication Date
CN114387282A true CN114387282A (zh) 2022-04-22

Family

ID=81195499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111491700.1A Pending CN114387282A (zh) 2021-12-08 2021-12-08 一种医学影像器官精准自动分割方法及系统

Country Status (1)

Country Link
CN (1) CN114387282A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455898A (zh) * 2023-12-08 2024-01-26 合肥锐视医疗科技有限公司 一种基于深度学习的生物体内部结构生成方法
CN117934855A (zh) * 2024-03-22 2024-04-26 北京壹点灵动科技有限公司 医学图像分割方法和装置、存储介质及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455898A (zh) * 2023-12-08 2024-01-26 合肥锐视医疗科技有限公司 一种基于深度学习的生物体内部结构生成方法
CN117455898B (zh) * 2023-12-08 2024-03-22 合肥锐视医疗科技有限公司 一种基于深度学习的生物体内部结构生成方法
CN117934855A (zh) * 2024-03-22 2024-04-26 北京壹点灵动科技有限公司 医学图像分割方法和装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111192245B (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
Zhang et al. Automatic nodule detection for lung cancer in CT images: A review
Zhang et al. Automatic skin lesion segmentation by coupling deep fully convolutional networks and shallow network with textons
CN112258456B (zh) 一种基于卷积神经网络监督的三维图像分割方法
CN114387282A (zh) 一种医学影像器官精准自动分割方法及系统
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
CN110751651A (zh) 基于多尺度迁移学习的mri胰腺图像分割方法
Feng et al. Deep learning for chest radiology: a review
Boutillon et al. Combining shape priors with conditional adversarial networks for improved scapula segmentation in MR images
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
Chen et al. Computer-aided diagnosis and decision-making system for medical data analysis: A case study on prostate MR images
CN109919216B (zh) 一种用于计算机辅助诊断前列腺癌的对抗学习方法
Xia et al. A nested parallel multiscale convolution for cerebrovascular segmentation
Sahoo et al. A comparative analysis of PGGAN with other data augmentation technique for brain tumor classification
CN115082493A (zh) 基于形状引导对偶一致性的3d心房图像分割方法及系统
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
Kong et al. Data enhancement based on M2-Unet for liver segmentation in Computed Tomography
Ruan et al. An efficient tongue segmentation model based on u-net framework
Tyagi et al. An amalgamation of vision transformer with convolutional neural network for automatic lung tumor segmentation
CN116645380A (zh) 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法
CN116258732A (zh) 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法
Shen et al. CT medical image segmentation algorithm based on deep learning technology
Fernández et al. Exploring automatic liver tumor segmentation using deep learning
Pepe et al. Deep learning and generative adversarial networks in oral and maxillofacial surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination