CN112634265A - 基于dnn的胰腺全自动分割模型的构建、分割方法及系统 - Google Patents

基于dnn的胰腺全自动分割模型的构建、分割方法及系统 Download PDF

Info

Publication number
CN112634265A
CN112634265A CN202110002670.7A CN202110002670A CN112634265A CN 112634265 A CN112634265 A CN 112634265A CN 202110002670 A CN202110002670 A CN 202110002670A CN 112634265 A CN112634265 A CN 112634265A
Authority
CN
China
Prior art keywords
pancreas
segmentation
image
full
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110002670.7A
Other languages
English (en)
Other versions
CN112634265B (zh
Inventor
张敏
徐强强
冯筠
任冯刚
仵正
吕毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202110002670.7A priority Critical patent/CN112634265B/zh
Publication of CN112634265A publication Critical patent/CN112634265A/zh
Application granted granted Critical
Publication of CN112634265B publication Critical patent/CN112634265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于医学图像分割技术领域，公开了一种基于DNN的胰腺全自动分割模型的构建、分割方法及系统。本发明克服现有技术中存在的胰腺分割过程中对医生先验知识的依赖问题以及胰腺分割预测结果精度较低的问题，提供一种从标签空间中感知胰腺位置先验知识，在实现对分割目标的精准定位的基础上，进一步通过更细粒度的分割保证胰腺分割结果与标签的形状一致性，有效地提高胰腺分割的精度。

Description

基于DNN的胰腺全自动分割模型的构建、分割方法及系统
技术领域
本发明属于医学图像分割技术领域，具体涉及一种基于DNN的胰腺全自动分割模型的构建、分割方法及系统。
背景技术
医学图像分割技术在临床诊断、病理分析、手术动态规划等相关的计算机辅助诊断(CAD)方面有着广泛的研究意义。在临床应用方面，CT(Computed Tomography)检查是诊断胰腺病变最主要的检查方式，腹部CT胰腺器官分割方法作为准确检查胰腺病变的计算机辅助诊断系统的基础，在辅助临床医生提高诊断效率方面有重要的应用价值。
基于深度学习方法用于医学图像分割的U-Net网络包含具有对称结构的提取图像上下文信息的收缩路径与恢复图像空间语义信息的扩张路径，通过弹性变形的方式对有效的训练数据进行增强，能够用较短的训练时间得到较高的分割性能。针对腹部CT胰腺分割任务，U-Net网络结构无法充分提取有关分割目标的深层次的特征表示和丰富的语义信息，导致胰腺和背景区域的分割结果精度较低。为解决上述问题，2020年Li等人提出三种跨域信息融合策略对U-Net网络结构进行改进。第一种策略称为跳跃式跨域连接，通过直接在编码器和解码器对应的卷积层之间添加网络残差，有效抑制胰腺分割结果中的过分割。第二种策略称为残差网络，将残差分别加入到编码器、解码器的连续卷积块中，能够同时减弱胰腺分割结果中的过分割和欠分割程度。第三种策略称多尺度残差网络，利用多尺度残差网络块代替编码器解码器之间的特征串联融合策略，不仅能够抑制胰腺分割结果中的过分割和欠分割，还能通过多尺度卷积残差提高网络对分割目标形状的学习能力。上述跨域信息融合策略在一定程度上有效地解决了胰腺分割结果中的过分割、欠分割以及形状不一致问题，提高胰腺器官分割结果的精度，增强分割网络的鲁棒性。
2020年Li等人提出三种跨域信息融合策略对U-Net网络结构进行改进后应用于腹部CT胰腺器官分割，首先需要根据医生利用其先验知识手动地从CT图像中勾画出包含胰腺的最小矩形区域，然后再将该最小矩形区域作为分割网络的输入，因此是一种半自动分割方法，该方法存在的不足主要是在进行胰腺分割时输入的图像是包含目标及其周围的较小区域得到较高的分割精度，需依赖医生的先验知识。
在三维CT(3D CT)扫描影像数据上直接训练胰腺分割网络可以有效利用具有体积结构的胰腺器官所固有的空间连续信息和解剖相关信息，与在3D CT体素的2D切片上训练2D胰腺分割网络相比，其对程序运行工作站的计算能力和内存成本的要求显著提高。2019年Zhao等人提出直接在3D CT体素训练胰腺全自动分割网络的方法，该方法探索了从粗分割到细分割的多阶段技术，其基本思想是通过粗略的步骤确定感兴趣区(ROIs)，然后对ROIs进行细粒度分割。该全自动分割网络的训练过程分为两个阶段：第一个阶段，在经过下采样的3D CT体素上训练用于生成含有胰腺候选区域的3D U-Net粗分割网络；第二个阶段，在第一个阶段生成的候选区域数据集上训练另一个3D U-Net网络用于对胰腺的细粒度分割。
2019年Zhao等人探索出的直接在3D CT体素上从粗分割到细分割的多阶段胰腺全自动分割网络的方法，其局限性在于通过多阶段训练模型而引起的胰腺形状上分割预测结果与标签不一致性问题，导致胰腺分割预测结果的精度较低。
发明内容
本发明的目的在于提供基于DNN的胰腺全自动分割模型的构建、分割方法及系统，用以解决现有技术中的存在的胰腺分割过程中对医生先验知识的依赖问题以及胰腺分割预测结果精度较低的问题。
为了实现上述任务，本发明采用以下技术方案：
基于DNN的胰腺全自动分割模型的构建方法，包括如下步骤：
步骤a：获取胰腺CT图像，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像集；
步骤b：构建全自动分割网络，包括依次连接的编码器网络、压缩采样模型和解码器网络；
步骤c：采用第一损失函数，对步骤b得到的全自动分割网络进行训练，对压缩采样模型中的压缩矩阵A和重建矩阵B进行迭代更新，获得更新后的压缩采样模型，所述更新后的压缩采样模型包括更新后的压缩矩阵
Figure BDA0002882263070000031
和更新后的重建矩阵
Figure BDA0002882263070000032
步骤d：采用第二损失函数，对步骤c得到的包含更新后的压缩采样模型的全自动分割网络进行训练，对编码器网络和解码器网络的参数进行迭代更新，将训练好的全自动分割网络作为胰腺全自动分割模型；
步骤b中压缩采样模型的构建方法包括如下步骤：
步骤1：获取胰腺CT图像，所述的胰腺CT图像上带有多个分割类别标签，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像；
步骤2：对预处理后的CT图像的分割类别标签采用独热编码方式进行编码，得到标签图G∈{0,1}H×W×C，其中，H和W分别表示标签图的高和宽，C代表分割类别总数；
步骤3：对预处理后的CT图像进行特征提取，得到特征图
Figure BDA0002882263070000041
其中，
Figure BDA0002882263070000042
和
Figure BDA0002882263070000043
分别表示特征图的高和宽，R表示矩阵，
Figure BDA0002882263070000044
代表原始特征图O内的特征总数，将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
Figure BDA0002882263070000045
将观测向量
Figure BDA0002882263070000046
进行重建，得到原始向量vij∈{0,1}N×1，其中N＝r×r×C，
Figure BDA0002882263070000047
[·]表示向上取整函数；
步骤4：构建如式Ⅰ所示的压缩采样模型，根据压缩采样模型获得分割预测向量
Figure BDA0002882263070000048
Figure BDA0002882263070000049
其中，A为压缩矩阵且
Figure BDA00028822630700000410
B为重建矩阵且
Figure BDA00028822630700000411
进一步的，所述第一损失函数为l2范数，所述第二损失函数交叉熵损失函数。
一种分割方法，包括如下步骤：
步骤Ⅰ：获取待分割的胰腺CT图像；
步骤Ⅱ：利用基于DNN的胰腺全自动分割模型的构建方法获得胰腺全自动分割网络模型，将待分割的胰腺CT图像输入胰腺全自动分割网络模型，输出胰腺分割结果。
进一步的，包括预处理模块、全自动分割网络构建模块、首次训练模块和二次训练模块；
所述的预处理模块用于获取胰腺CT图像，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像集；
所述的全自动分割网络构建模块用于构建全自动分割网络，包括依次连接的编码器网络、压缩采样模型和解码器网络；
所述的首次训练模块用于采用第一损失函数，对全自动分割网络构建模块得到的全自动分割网络进行训练，对压缩采样模型中的压缩矩阵A和重建矩阵B进行迭代更新，获得更新后的压缩采样模型，所述更新后的压缩采样模型包括更新后的压缩矩阵
Figure BDA0002882263070000051
和更新后的重建矩阵
Figure BDA0002882263070000052
所述的二次训练模块用于采用第二损失函数，对首次训练模块得到的包含更新后的压缩采样模型的全自动分割网络进行训练，对编码器网络和解码器网络的参数进行迭代更新，将训练好的全自动分割网络作为胰腺全自动分割模型；
所述的压缩采样模型包括预处理模块、标签图生成模块、特征图生成模块和压缩采样模型生成模块：
所述预处理模块用于获取胰腺CT图像，所述的胰腺CT图像上带有多个分割类别标签，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像；
所述标签图生成模块用于对预处理后的CT图像的分割类别标签采用独热编码方式进行编码，得到标签图G∈{0,1}H×W×C，其中，H和W分别表示标签图的高和宽，C代表分割类别总数；
所述特征图生成模块用于对预处理后的CT图像进行特征提取，得到特征图
Figure BDA0002882263070000053
其中，
Figure BDA0002882263070000054
和
Figure BDA0002882263070000055
分别表示特征图的高和宽，R表示矩阵，
Figure BDA0002882263070000056
代表原始特征图O内的特征总数，将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
Figure BDA0002882263070000057
还用于将观测向量
Figure BDA0002882263070000058
进行重建，得到原始向量vij∈{0,1}N×1，其中N＝r×r×C，
Figure BDA0002882263070000061
[·]表示向上取整函数；
所述压缩采样模型生成模块用于构建如式Ⅰ所示的压缩采样模型，根据压缩采样模型获得分割预测向量
Figure BDA0002882263070000062
Figure BDA0002882263070000063
其中，A为压缩矩阵且
Figure BDA0002882263070000064
B为重建矩阵且
Figure BDA0002882263070000065
进一步的，所述第一损失函数为l2范数，所述第二损失函数交叉熵损失函数。
一种分割系统，包括输入模块和分割模块：
所述的输入模块用于获取待分割的胰腺CT图像；
所述的分割模块用于利用基于DNN的胰腺全自动分割模型的构建系统获得胰腺全自动分割网络模型，将待分割的胰腺CT图像输入胰腺全自动分割网络模型，输出胰腺分割结果。
本发明与现有技术相比具有以下技术特点：、
1)本发明在编码器解码器网络框架中嵌入压缩采样模型，将靠数据驱动的分割网络与基于先验知识构建的压缩采样模型相结合，通过两阶段级联的方式使得分割网络具备器官的位置先验感知功能，进而在胰腺分割过程中摆脱对医生手动判定含有胰腺的较小图像区域的依赖。
2)本发明在实现对分割目标的精准定位的同时，能够在一定程度上减弱了全自动分割网络对分割目标位置和权重初始值的敏感性，进而保证胰腺分割网络预测结果与标签的形状一致性，显著地提高腹部CT胰腺全自动分割方法的精度。
附图说明
图1是本发明针对腹部CT胰腺器官全自动分割系统；
图2是压缩采样模型的示意图；
图3是感知胰腺位置先验的可视化示意图；
图4是本文发明的胰腺分割网络在NIH数据集上训练时的收敛趋势图；
图5是在NIH数据集上对分割主网络进行训练并接近收敛时胰腺分割结果示意图。
具体实施方式
以下给出本发明的详细实施例，需要说明的是：
1.本发明并不局限于以下具体实施例。
2.实施例中在构建胰腺全自动分割网络框架时采用了CT扫描数据集包括公开的NIH数据集和ISBI 2015 VISCERAL挑战赛数据集两个数据集。
3.在数据集上对胰腺全自动分割方法进行实验验证，NIH数据集包含82套人体CT扫描增强数据，每个人体的CT扫描体素的维度为512×512×L，其中L∈[181,466]是沿着人体长轴方向的轴状面切片数目，2D切片的分辨率大小为512×512，切片厚度的变化范围是从0.5mm到1.0mm。ISBI 2015 VISCERAL挑战赛数据集用于基准化多器官分割(如：肝脏，脾脏，肾脏，胰腺，胆囊，左右肾上腺等)，本发明仅应用其中18套有效的胰腺器官注释的人体CT扫描增强数据集，获得的注释质量由三名放射科医生和两名医生检查，每套CT的维度为512×512×L，其中L∈[194,477]，切片厚度的变化范围是从1.5mm。将含有胰腺器官的腹部CT切片作为有效数据集，用于对胰腺全自动分割网络的训练或验证。
4.实施例使用Python语言和Pytorch深度学习网络框架，这些网络都是在一个带有11GB RAM的NVIDIA GeForce GTX 1080Ti GPU上训练的，所有的实验都是在运行Ubuntu16.04的Linux服务器上进行的，该服务器配有Intel Core i7-6700 CPU和32GBRAM。
本实施例中公开了一种压缩采样模型构建方法，包括如下步骤：
步骤1：获取胰腺CT图像，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像，所述的预处理后的CT图像上带有多个分割类别标签；
步骤2：对预处理后的CT图像的分割类别标签采用独热编码方式进行编码，得到标签图G∈{0,1}H×W×C，其中，H和W分别表示标签图的高和宽，C代表分割类别总数；
步骤3：对预处理后的CT图像进行特征提取，得到特征图
Figure BDA0002882263070000081
其中，
Figure BDA0002882263070000082
和
Figure BDA0002882263070000083
分别表示特征图的高和宽，R表示矩阵，
Figure BDA0002882263070000084
代表原始特征图O内的特征总数，将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
Figure BDA0002882263070000085
将观测向量
Figure BDA0002882263070000086
进行重建，得到原始向量vij∈{0,1}N×1，其中N＝r×r×C，
Figure BDA0002882263070000087
[·]表示向上取整函数；
步骤4：为了使网络能够从标签空间中感知胰腺器官的位置先验知识，构建如式Ⅰ所示的压缩采样模型，根据压缩采样模型获得分割预测向量
Figure BDA0002882263070000088
Figure BDA0002882263070000089
其中，A为压缩矩阵且
Figure BDA00028822630700000810
B为重建矩阵且
Figure BDA00028822630700000811
具体的，步骤1包括如下子步骤：
步骤1.1，本发明将12位的人体CT扫描影像转换成8位数据输入，每套人体CT扫描体素的维度为512×512×L，其中L∈[181,466]，沿着人体的长轴方向获得原始CT影像的轴状面2D切片，切片的分辨率和数目分别为512×512和L；
步骤1.2，为了能够保留大部分的腹部器官，胰腺分割任务特点，将CT切片窗宽窗位范围调整为-100Hu—240Hu以适用于胰腺分割，然后经过灰度映射得到灰度值范围为[0，255]的图像，数据集中相应的标注标签像素值重新缩放为布尔值0或1；
步骤1.3，使用简单线性插值方法将图像从512×512调整到528×528，为改善图像的视觉效果，在训练网络时考虑图像随机旋转和镜像翻转的影响，通过在0.5到2.0之间随机缩放并水平旋转输入图像，并随机对图像进行镜像翻转。
具体的，步骤2包括如下子步骤：
采用独热编码方式对标签编码，得到G∈{0,1,2,...,C}H×W，记为G∈{0,1}H×W×C，其中H和W分别表示标签图的高和宽，C代表所有分割类别，由于胰腺分割任务只判定每个像素点属于胰腺区域或者背景区域，则C的值为2。
具体的，步骤3包括如下子步骤：
步骤3.1：本实施例采用编码器网络进行特征提取，提取到的每个特征对应一个通道，编码器最后一层输出的特征为
Figure BDA0002882263070000091
Figure BDA0002882263070000092
和
Figure BDA0002882263070000093
分别表示特征图的高和宽，
Figure BDA0002882263070000094
代表通道数；
步骤3.2：特征图O各通道中坐标为(i,j)的像素点对应的值按照通道堆叠顺序构成观测向量，记为
Figure BDA0002882263070000095
则从特征图
Figure BDA0002882263070000096
中能够得到观测向量oij的个数为
Figure BDA0002882263070000097
步骤3.3：，要从
Figure BDA0002882263070000098
个观测向量中得到标签G的分割预测概率图
Figure BDA0002882263070000099
可转化为对特征空间O中的所有观测向量oij进行恢复重建的问题。观测向量
Figure BDA0002882263070000101
经过重建，得到原始信号vij∈{0,1}N×1，其中N＝r×r×C，
Figure BDA0002882263070000102
[·]表示向上取整函数；将信号vij∈{0,1}N×1按照先水平后竖直的方向铺展，构成标签预测概率图
Figure BDA0002882263070000103
中的子图像块
Figure BDA0002882263070000104
则标签预测概率图
Figure BDA0002882263070000105
共有
Figure BDA0002882263070000106
个子图像块组成。
具体的，训练网络时，H/r或W/r若不是整数，可通过双线性插值方式适当放缩原始图像和标签图像。
具体的，步骤4包括如下子步骤：
若分割目标区域在图像中占比较小，即Gij的多数项目为零，则重建的原始信号vij是稀疏的。通常情况下
Figure BDA0002882263070000107
基于上述假设，构建压缩采样模型
Avij＝oij.
压缩矩阵
Figure BDA0002882263070000108
建立了从稀疏信号vij中提取语义知识特征表示的线性系统，记为f。重建系统f-1对观测向量oij进行变换得到分割预测向量
Figure BDA0002882263070000109
Figure BDA00028822630700001010
即将重建矩阵
Figure BDA00028822630700001011
定义为压缩矩阵
Figure BDA00028822630700001012
的逆矩阵，观测向量oij经过重建矩阵B的变换作用，得到原始信号的预测值。
本实施例中还公开了一种腹部CT胰腺全自动分割模型构建方法，包括如下步骤：
步骤a：获取胰腺CT图像，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像集；
步骤b：构建全自动分割网络，包括依次连接的编码器网络、压缩采样模型和解码器网络；
步骤c：采用第一损失函数，对步骤b得到的全自动分割网络进行训练，对压缩采样模型中的压缩矩阵A和重建矩阵B进行迭代更新，获得更新后的压缩采样模型，所述更新后的压缩采样模型包括更新后的压缩矩阵
Figure BDA0002882263070000111
和更新后的重建矩阵
Figure BDA0002882263070000112
步骤d：采用第二损失函数，对步骤c得到的包含更新后的压缩采样模型的全自动分割网络进行训练，对编码器网络和解码器网络的参数进行迭代更新，将训练好的全自动分割网络作为胰腺全自动分割模型。
具体的，所述第一损失函数为l2范数，所述第二损失函数交叉熵损失函数。
具体的，步骤c包括如下子步骤：
步骤c1：使用l2范数作为损失函数，使得分割预测向量
Figure BDA0002882263070000113
与原始向量vij的相似程度最大化则压缩采样模型中A和B的最优解可以表示为如下形式：
Figure BDA0002882263070000114
步骤c2：当原始向量vij不完全是稀疏的或观测向量oij数据存在一定的偏差时，样本空间中数据带有噪声e的干扰，其中oij＝Avij+e，e＝(e1,e2,...,eN)T∈RN×1，噪声e服从正太分布e～N(0,δ2)且令其满足边界条件||e||2≤ε，从而保证了压缩采样重建算法的稳定性；
步骤c3：采用端对端的训练方式，在步骤a所得到的数据上迭代优化网络参数，求解出压缩矩阵A*和重建矩阵B*。
具体的，首次训练时，令网络参数初始化时服从e～N(0,0.12)高斯分布，采用SGD优化器最小化l2范数损失,批量大小设置为4，初始化学习效率为0.007，动量设置为0.9，衰减权重为0.0001，在训练集上经过5期的训练。
具体的，将经过步骤c优化后的压缩采样模型嵌入重新构建的胰腺全自动分割编码器解码器网络框架，其中在步骤c中求得的重建矩阵
Figure BDA0002882263070000115
被级联在分割主网络的解码器模块，重建矩阵能够从特征图中选择关于分割目标位置信息的稀疏性特征表示，再次利用步骤a所得到的数据，对分割网络进行第二阶段的训练，步骤d包括如下子步骤：
步骤d1：分割主网络的编码器使用ResNet-50作为骨干网络，为求解压缩采样模型，第一阶段以标准的ResNet-50为编码器骨干网络并使用在ImageNet上的预训练权重进行初始化，并加入更多卷积层增强网络的特征提取能力，网络训练时以服从e～N(0,0.12)高斯分布对其进行初始化；
步骤d2：使用在步骤c中通过第一阶段网络训练求解的重建矩阵B*对使用特征聚合策略得到的特征图O进行上采样，将其恢复至与原始输入图像保持相同分辨率，得到预测概率图。第二阶段在对编码器解码器胰腺分割主网络进行迭代训练时，采用交叉熵损失
Figure BDA0002882263070000121
优化网络参数W，G表示标签图像，映射函数
Figure BDA0002882263070000122
表示从原始输入图像X中推理得到胰腺器官的预测概率图
Figure BDA0002882263070000123
非线性变换，假设空间φ定义为
Figure BDA0002882263070000124
优化风险函数可表示为最小化关于假设空间中的映射函数
Figure BDA0002882263070000125
平均意义下的交叉熵损失
Figure BDA0002882263070000126
Figure BDA0002882263070000127
步骤d3：在步骤a所得到的数据上迭代优化网络参数，采用SGD优化器最小化交叉熵损失，批量大小为4，初始化学习效率为0.007，动量设置为0.9，衰减权重为0.0001。分割主网络在较大的NIH数据集上训练300期，学习率衰减呈指数下降，而在相对较小的ISBI2015 VISCERAL挑战赛数据集的训练集上训练1000期，学习率衰减采用多项式策略，衰减权重为0.0001。
本实施例中还公开了一种分割方法，包括如下步骤：
步骤Ⅰ：获取待分割的胰腺CT图像；
步骤Ⅱ：利用腹部CT胰腺全自动分割模型构建方法获得胰腺全自动分割网络模型，将待分割的胰腺CT图像输入胰腺全自动分割网络模型，输出胰腺分割结果。
本实施例中还公开了一种压缩采样模型构建系统，包括预处理模块、标签图生成模块、特征图生成模块、分割预测概率图生成模块和压缩采样模型生成模块：
所述预处理模块用于获取胰腺CT图像，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像，所述的预处理后的CT图像上带有多个分割类别标签；
所述标签图生成模块用于对预处理后的CT图像的分割类别标签采用独热编码方式进行编码，得到标签图G∈{0,1}H×W×C，其中，H和W分别表示标签图的高和宽，C代表分割类别总数；
所述特征图生成模块用于对预处理后的CT图像进行特征提取，得到特征图
Figure BDA0002882263070000131
其中，
Figure BDA0002882263070000132
和
Figure BDA0002882263070000133
分别表示特征图的高和宽，R表示矩阵，
Figure BDA0002882263070000134
代表原始特征图O内的特征总数，将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
Figure BDA0002882263070000135
还用于将观测向量
Figure BDA0002882263070000136
进行重建，得到原始向量vij∈{0,1}N×1，其中N＝r×r×C，
Figure BDA0002882263070000137
[·]表示向上取整函数；
所述压缩采样模型生成模块用于构建如式Ⅰ所示的压缩采样模型，根据压缩采样模型获得分割预测向量
Figure BDA0002882263070000138
Figure BDA0002882263070000139
其中，A为压缩矩阵且
Figure BDA00028822630700001310
B为重建矩阵且
Figure BDA00028822630700001311
本实施例中还公开了一种腹部CT胰腺全自动分割模型构建模型，包括预处理模块、全自动分割网络构建模块、首次训练模块和二次训练模块；
所述的预处理模块用于获取胰腺CT图像，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像集；
所述的全自动分割网络构建模块用于构建全自动分割网络，包括依次连接的编码器网络、压缩采样模型和解码器网络；
所述的首次训练模块用于采用第一损失函数，对全自动分割网络构建模块得到的全自动分割网络进行训练，对压缩采样模型中的压缩矩阵A和重建矩阵B进行迭代更新，获得更新后的压缩采样模型，所述更新后的压缩采样模型包括更新后的压缩矩阵
Figure BDA0002882263070000141
和更新后的重建矩阵
Figure BDA0002882263070000142
所述的二次训练模块用于采用第二损失函数，对首次训练模块得到的包含更新后的压缩采样模型的全自动分割网络进行训练，对编码器网络和解码器网络的参数进行迭代更新，将训练好的全自动分割网络作为胰腺全自动分割模型。
具体的，所述第一损失函数为l2范数，所述第二损失函数交叉熵损失函数。
本实施例中还公开了一种分割系统，包括输入模块和分割模块：
所述的输入模块用于获取待分割的胰腺CT图像；
所述的分割模块用于利用腹部CT胰腺全自动分割模型构建系统获得胰腺全自动分割网络模型，将待分割的胰腺CT图像输入胰腺全自动分割网络模型，输出胰腺分割结果。
实施例1
本实施例给出了一种分割方法，通过在NIH数据集和在ISBI 2015 VISCERAL挑战赛数据集上进行实验，对比了背景技术中所介绍2020年Li等人提出的半自动胰腺分割方法和2019年Zhao等人提出的从粗分割到细分割的多阶段技术以及现有的其它方法，对比结果列在表1和表2中。
表1给出了在NIH数据集上本文算法的平均戴斯相似度系数(DSC)高达87.69％，在所有病人的测试样例中统计出的DSC最小值为82.79％、DSC最大值为92.13％，标准差为3.18％。通过与表中列出先进分割算法相比，本文提出算法的不仅平均精度高于对比的自动分割算法，其DSC最小值相较于其它先进分割算法有着较大幅度的提升，这为算法应用于临床的时安全性提供了依据，且标准差首次降到4.00％以下，进一步保证了分割算法稳定性。
表1不同算法在NIH数据集上的实验结果
Table.1 Experimental results of various algorithms on the NIH
Figure BDA0002882263070000151
表2给出相关的胰腺分割方法在数据量相对较少在ISBI 2015 VISCERAL挑战赛数据集上进行实验的结果，本文提出的分割算法在该数据集上取得了平均戴斯相似度系数结果为72.17％，与其余分割算法相比有较大幅度的精度提升。
表2不同算法在ISBI 2015 VISCERAL数据集上的实验结果
Table.2 Experimental results of various algorithms on the ISBI 2015VISCERAL
Figure BDA0002882263070000152
图1是本发明针对腹部CT胰腺器官全自动分割任务，采用的嵌入压缩采样的编码器解码器网络，网络的主要由编码器模块、解码器模块、压缩采样模块和特征聚合模块四部分构成。
图2是为了使网络能够从标签空间中感知胰腺器官的位置先验知识，构建压缩采样模型的示意图。
图3是感知胰腺位置先验的可视化示意图，在训练分割主网络的不同阶段，随机地可视化部分CT数据2D切片的胰腺分割示例。分割主网络利用压缩采样模块从标签空间中感知胰腺的位置先验，只需经过1期的训练，就完成对胰腺器官的精准定位，减弱网络对分割目标位置和权重初始值的敏感性，解决了胰腺全自动分割算法难以对较小分割目标进行定位的问题。
图4是本文发明的胰腺分割网络在NIH数据集上训练时的收敛趋势图，在NIH数据集上进行训练的过程中，损失函数随着迭代次数的增加迅速并趋于稳定收敛。
图5是在NIH数据集上对分割主网络进行训练并接近收敛时胰腺分割结果示意图。从图中可以得出，即使胰腺的位置、大小不固定且解剖变异性高，仍能够在胰腺边缘区域保持分割结果与标签趋于吻合。

Claims (6)

1.基于DNN的胰腺全自动分割模型的构建方法，其特征在于，包括如下步骤：
步骤a：获取胰腺CT图像，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像集；
步骤b：构建全自动分割网络，包括依次连接的编码器网络、压缩采样模型和解码器网络；
步骤c：采用第一损失函数，对步骤b得到的全自动分割网络进行训练，对压缩采样模型中的压缩矩阵A和重建矩阵B进行迭代更新，获得更新后的压缩采样模型，所述更新后的压缩采样模型包括更新后的压缩矩阵
Figure FDA0002882263060000011
和更新后的重建矩阵
Figure FDA0002882263060000012
步骤d：采用第二损失函数，对步骤c得到的包含更新后的压缩采样模型的全自动分割网络进行训练，对编码器网络和解码器网络的参数进行迭代更新，将训练好的全自动分割网络作为胰腺全自动分割模型；
步骤b中压缩采样模型的构建方法包括如下步骤：
步骤1：获取胰腺CT图像，所述的胰腺CT图像上带有多个分割类别标签，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像；
步骤2：对预处理后的CT图像的分割类别标签采用独热编码方式进行编码，得到标签图G∈{0,1}H×W×C，其中，H和W分别表示标签图的高和宽，C代表分割类别总数；
步骤3：对预处理后的CT图像进行特征提取，得到特征图
Figure FDA0002882263060000013
其中，
Figure FDA0002882263060000014
和
Figure FDA0002882263060000015
分别表示特征图的高和宽，R表示矩阵，
Figure FDA0002882263060000016
代表原始特征图O内的特征总数，将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
Figure FDA0002882263060000021
将观测向量
Figure FDA0002882263060000022
进行重建，得到原始向量vij∈{0,1}N×1，其中N＝r×r×C，
Figure FDA0002882263060000023
[·]表示向上取整函数；
步骤4：构建如式Ⅰ所示的压缩采样模型，根据压缩采样模型获得分割预测向量
Figure FDA0002882263060000024
Figure FDA0002882263060000025
其中，A为压缩矩阵且
Figure FDA0002882263060000026
B为重建矩阵且
Figure FDA0002882263060000027
2.如权利要求1所述的基于DNN的胰腺全自动分割模型的构建方法，其特征在于，所述第一损失函数为l2范数，所述第二损失函数交叉熵损失函数。
3.一种分割方法，其特征在于，包括如下步骤：
步骤Ⅰ：获取待分割的胰腺CT图像；
步骤Ⅱ：利用如权利要求1或2所述的基于DNN的胰腺全自动分割模型的构建方法获得胰腺全自动分割网络模型，将待分割的胰腺CT图像输入胰腺全自动分割网络模型，输出胰腺分割结果。
4.基于DNN的胰腺全自动分割模型的构建系统，其特征在于，包括预处理模块、全自动分割网络构建模块、首次训练模块和二次训练模块；
所述的预处理模块用于获取胰腺CT图像，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像集；
所述的全自动分割网络构建模块用于构建全自动分割网络，包括依次连接的编码器网络、压缩采样模型和解码器网络；
所述的首次训练模块用于采用第一损失函数，对全自动分割网络构建模块得到的全自动分割网络进行训练，对压缩采样模型中的压缩矩阵A和重建矩阵B进行迭代更新，获得更新后的压缩采样模型，所述更新后的压缩采样模型包括更新后的压缩矩阵
Figure FDA0002882263060000031
和更新后的重建矩阵
Figure FDA0002882263060000032
所述的二次训练模块用于采用第二损失函数，对首次训练模块得到的包含更新后的压缩采样模型的全自动分割网络进行训练，对编码器网络和解码器网络的参数进行迭代更新，将训练好的全自动分割网络作为胰腺全自动分割模型；
所述的压缩采样模型包括预处理模块、标签图生成模块、特征图生成模块和压缩采样模型生成模块：
所述预处理模块用于获取胰腺CT图像，所述的胰腺CT图像上带有多个分割类别标签，对胰腺CT图像进行图像变换和数据预处理，得到预处理后的CT图像；
所述标签图生成模块用于对预处理后的CT图像的分割类别标签采用独热编码方式进行编码，得到标签图G∈{0,1}H×W×C，其中，H和W分别表示标签图的高和宽，C代表分割类别总数；
所述特征图生成模块用于对预处理后的CT图像进行特征提取，得到特征图
Figure FDA0002882263060000033
其中，
Figure FDA0002882263060000034
和
Figure FDA0002882263060000035
分别表示特征图的高和宽，R表示矩阵，
Figure FDA0002882263060000036
代表原始特征图O内的特征总数，将特征图O上坐标为(i,j)的像素点对应的特征值按照特征提取的顺序构成观测向量
Figure FDA0002882263060000037
还用于将观测向量
Figure FDA0002882263060000038
进行重建，得到原始向量vij∈{0,1}N×1，其中N＝r×r×C，
Figure FDA0002882263060000039
[·]表示向上取整函数；
所述压缩采样模型生成模块用于构建如式Ⅰ所示的压缩采样模型，根据压缩采样模型获得分割预测向量
Figure FDA00028822630600000310
Figure FDA0002882263060000041
其中，A为压缩矩阵且
Figure FDA0002882263060000042
B为重建矩阵且
Figure FDA0002882263060000043
5.如权利要求4所述的基于DNN的胰腺全自动分割模型的构建系统，其特征在于，所述第一损失函数为l2范数，所述第二损失函数交叉熵损失函数。
6.一种分割系统，其特征在于，包括输入模块和分割模块：
所述的输入模块用于获取待分割的胰腺CT图像；
所述的分割模块用于利用如权利要求4或5所述的基于DNN的胰腺全自动分割模型的构建系统获得胰腺全自动分割网络模型，将待分割的胰腺CT图像输入胰腺全自动分割网络模型，输出胰腺分割结果。
CN202110002670.7A 2021-01-04 2021-01-04 基于dnn的胰腺全自动分割模型的构建、分割方法及系统 Active CN112634265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110002670.7A CN112634265B (zh) 2021-01-04 2021-01-04 基于dnn的胰腺全自动分割模型的构建、分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110002670.7A CN112634265B (zh) 2021-01-04 2021-01-04 基于dnn的胰腺全自动分割模型的构建、分割方法及系统

Publications (2)

Publication Number Publication Date
CN112634265A true CN112634265A (zh) 2021-04-09
CN112634265B CN112634265B (zh) 2023-04-07

Family

ID=75291312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110002670.7A Active CN112634265B (zh) 2021-01-04 2021-01-04 基于dnn的胰腺全自动分割模型的构建、分割方法及系统

Country Status (1)

Country Link
CN (1) CN112634265B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674281A (zh) * 2021-10-25 2021-11-19 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法
CN114596319A (zh) * 2022-05-10 2022-06-07 华南师范大学 基于Boosting-Unet分割网络的医学影像分割方法
WO2023098289A1 (zh) * 2021-12-01 2023-06-08 浙江大学 一种基于对抗学习的无标签胰腺影像自动分割系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784676A (zh) * 2017-09-20 2018-03-09 中国科学院计算技术研究所 基于自动编码器网络的压缩感知测量矩阵优化方法和系统
US20180232858A1 (en) * 2016-01-27 2018-08-16 Boe Technology Group Co., Ltd. Image compression method, image reconstruction method, image compression device, image reconstruction device, and image compression and reconstruction system
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
US20200063665A1 (en) * 2018-01-25 2020-02-27 Dalian University Of Technology Aero-engine full flight envelope model adaptive modification method based on deep learning algorithm
CN111754520A (zh) * 2020-06-09 2020-10-09 江苏师范大学 一种基于深度学习的脑血肿分割方法及系统
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180232858A1 (en) * 2016-01-27 2018-08-16 Boe Technology Group Co., Ltd. Image compression method, image reconstruction method, image compression device, image reconstruction device, and image compression and reconstruction system
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN107784676A (zh) * 2017-09-20 2018-03-09 中国科学院计算技术研究所 基于自动编码器网络的压缩感知测量矩阵优化方法和系统
US20200063665A1 (en) * 2018-01-25 2020-02-27 Dalian University Of Technology Aero-engine full flight envelope model adaptive modification method based on deep learning algorithm
CN111754520A (zh) * 2020-06-09 2020-10-09 江苏师范大学 一种基于深度学习的脑血肿分割方法及系统
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WUZHEN SHI 等: "Scalable Convolutional Neural Network for Image Compressed Sensing", 《IEEE》 *
熊承义等: "基于小波变换的图像压缩感知深度重构网络", 《中南民族大学学报(自然科学版)》 *
纪建兵等: "基于深度学习的胰腺分割方法研究", 《数字技术与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674281A (zh) * 2021-10-25 2021-11-19 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法
CN113674281B (zh) * 2021-10-25 2022-02-22 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法
WO2023098289A1 (zh) * 2021-12-01 2023-06-08 浙江大学 一种基于对抗学习的无标签胰腺影像自动分割系统
CN114596319A (zh) * 2022-05-10 2022-06-07 华南师范大学 基于Boosting-Unet分割网络的医学影像分割方法
CN114596319B (zh) * 2022-05-10 2022-07-26 华南师范大学 基于Boosting-Unet分割网络的医学影像分割方法

Also Published As

Publication number Publication date
CN112634265B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及系统
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN107578416B (zh) 一种由粗到精级联深度网络的心脏左心室全自动分割方法
US20180260951A1 (en) Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
US20210233244A1 (en) System and method for image segmentation using a joint deep learning model
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN111798424B (zh) 一种基于医学图像的结节检测方法、装置及电子设备
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN111373439A (zh) 使用cnn进行图像分割的方法
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
CN114359642A (zh) 基于一对一目标查询Transformer的多模态医学图像多器官定位方法
CN112132878A (zh) 基于卷积神经网络的端到端大脑核磁共振图像配准方法
Yang et al. A multiorgan segmentation model for CT volumes via full convolution‐deconvolution network
CN117058307A (zh) 心脏三维核磁共振图像生成方法、系统、设备及储存介质
Schwarz et al. A deformable registration method for automated morphometry of MRI brain images in neuropsychiatric research
Shao et al. Application of an improved u2-net model in ultrasound median neural image segmentation
Dou et al. Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
Wang et al. Automatic consecutive context perceived transformer GAN for serial sectioning image blind inpainting
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
Farag et al. Variational approach for segmentation of lung nodules
Tao et al. Automatic segmentation of the prostate on MR images based on anatomy and deep learning
Erdt et al. Computer aided segmentation of kidneys using locally shape constrained deformable models on CT images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant