CN113674281B - 一种基于深度形状学习的肝脏ct自动分割方法 - Google Patents

一种基于深度形状学习的肝脏ct自动分割方法 Download PDF

Info

Publication number
CN113674281B
CN113674281B CN202111240331.9A CN202111240331A CN113674281B CN 113674281 B CN113674281 B CN 113674281B CN 202111240331 A CN202111240331 A CN 202111240331A CN 113674281 B CN113674281 B CN 113674281B
Authority
CN
China
Prior art keywords
liver
shape
segmentation
network
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111240331.9A
Other languages
English (en)
Other versions
CN113674281A (zh
Inventor
李劲松
胡佩君
周天舒
田雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202111240331.9A priority Critical patent/CN113674281B/zh
Publication of CN113674281A publication Critical patent/CN113674281A/zh
Application granted granted Critical
Publication of CN113674281B publication Critical patent/CN113674281B/zh
Priority to PCT/CN2022/116983 priority patent/WO2023071531A1/zh
Priority to JP2023535617A priority patent/JP2023550844A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Abstract

本发明公开了一种基于深度形状学习的肝脏CT自动分割方法，首先建立肝脏分割数据集并进行预处理，利用肝脏分割对肝脏CT进行粗分割；其次建立肝脏形状集，利用变分自编码器学习肝脏形状，并构建几何形状正则化模块，然后将几何形状正则化模块加入肝脏分割中，得到受几何形状一致性约束的肝脏分割模型，用于肝脏CT的自动分割。本发明创新性地将表示后的形状特征通过正则化模块加入到已有的深度分割网络中，在卷积神经网络的训练过程中引入形状先验信息，可以提高分割模型的正则性和泛化能力，使得分割的结果更加符合标准肝脏的医学解剖学特点。本发明具有自动化、精度高、可迁移扩展的特点，可以实现以肝脏为代表的腹部大器官的自动精准分割。

Description

一种基于深度形状学习的肝脏CT自动分割方法
技术领域
本发明涉及CT分割技术领域，尤其涉及一种基于深度形状学习的肝脏CT自动分割方法。
背景技术
肝癌是全球最常见的恶性肿瘤之一，严重威胁人类生命健康。我国是肝癌的高发区，肝癌位居我国恶性肿瘤死因的第三位。肝癌不仅恶性程度高、疾病进展快，并且早期肝癌患者缺乏特异性临床表现，患者出现症状时往往处于疾病的中晚期，治疗困难且预后较差。计算机断层扫描图像(CT)是肝癌诊断的临床影像学检查手段之一，基于CT图像的肝脏精准分割可以提供体积、大小、形状等定量化信息，并且是后续病灶检测、影像分析的必要步骤和基础，因此在计算机辅助诊断、手术规划及导航等临床场景中有重要应用。CT图像数据量巨大，人工勾画肝脏边缘耗时耗力，可重复性差。肝脏全自动分割技术可以实现大规模临床CT图像处理，提高病人诊治水平、加快相关临床研究，对家庭、社会和国民经济有重要意义。
肝脏CT自动分割面临着个体形状差异大、与周围器官组织黏连、边界模糊甚至部分缺失、前景表观异质、背景复杂等挑战，吸引了很多的研究工作。近年来，以全卷积神经网络为代表的深度学习模型在肝脏CT分割中取得了不错的效果。此类方法对图像信息进行低层和高层的特征计算，并利用分类函数对每个像素进行类别判断，可以得到端到端的分割区域预测。
深度卷积神经网络方法依赖大规模标注的医学影像数据，在小规模数据上进行训练时容易发生过拟合现象。与此同时，一般的基于全卷积神经网络的肝脏分割方法没有考虑目标边界的光滑性，缺乏对区域几何性质的保持。肝脏具有特定的解剖结构特点，利用几何形状先验知识可以提高模型的正则性，减小模型过拟合，最终提高目标分割的准确率和鲁棒性。利用形状先验知识的关键是如何表征肝脏形状并在深度学习模型中融入形状信息。目前基于深度学习的肝脏分割方法对几何形状先验知识的表示较弱，较多方法通过主动形状模型、多谱图分割方法或水平集表示来表征目标形状。但是不同个体肝脏形变大，主动形状模型和多图谱分割方法一般选择较小的形状集合构建形状先验，肝脏形状的可形变范围也被控制在较小范围内，无法覆盖到所有个体。在形状信息融合阶段，一般方法将主动形状模型、水平集方法等作为后处理独立地加在深度卷积神经网络后，无法对网络的训练起约束作用。
发明内容
本发明目的在于针对现有技术的不足，提出一种基于深度形状学习的肝脏CT自动分割方法，本发明针对的技术问题是现有深度学习肝脏分割方法缺乏几何形状正则性，不能很好表征和融合几何形状先验。变分自编码器利用非监督特征学习，通过多层神经网络结构学习图像的非线性特征，其中的隐藏层变量可以更好地表达目标形状特征。本发明提出以数据驱动的方式，利用三维变分自编码器学习肝脏的几何形状特征，将高维图像映射到紧致流形空间上，获得肝脏形状的隐空间特征表示。然后，在深度分割网络中，设计正则化模块，对目标损失函数加入隐空间形状表示损失，利用训练好的编码器对分割网络的训练起正则作用。本发明可以有效表征肝脏形状，并在分割网络模型的训练阶段约束网络训练，控制分割的目标形状向肝脏可形变空间靠近，提高网络模型的正则性。
本发明的目的是通过以下技术方案来实现的：一种基于深度形状学习的肝脏CT自动分割方法，该方法包括以下步骤：
(1)收集包含原始图像和肝脏分割标签图像的CT体数据并进行预处理，构建肝脏分割数据的训练集；
(2)构建肝脏分割网络，肝脏分割网络由编码和解码两部分组成，编码部分包括四个编码块，每个编码块后面均连接一个下采样层；解码部分包括四个解码块，每个解码块前面连接一个上采样层；每个解码块连接对应的编码块输出的特征图，并且对每个解码块输出的特征图做一个映射层，输出大小均为与网络输入图像等大的图像块；
(3)利用步骤(1)中肝脏分割数据的训练集对肝脏分割网络进行训练，利用训练好的肝脏分割网络对肝脏CT进行粗分割；
(4)获取符合医学解剖结构特点的肝脏标准形状集，并对肝脏标准形状集中进行缺损操作，构成肝脏形状缺损集；肝脏标准形状集和肝脏形状缺损集共同构成肝脏形状训练集；
(5)构建三维变分自编码器，所述三维变分自编码器由编码器和解码器两部分组成，编码器部分包括四个编码块，每个编码块后面连接一个下采样层；解码器部分包括四个解码块，每个解码块前面连接一个上采样层；解码器的输出通过一个映射层将特征图映射为肝脏预测图；
(6)利用肝脏形状训练集训练三维变分自编码器，将一个缺损的肝脏形状输入到训练后的三维变分自编码器中，得到其在流形空间的隐空间表示；
(7)将训练好的三维变分自编码器作为几何形状正则化模块，加入到步骤(2)构建的肝脏分割网络中，将肝脏分割网络输出的粗分割结果以及肝脏标准分割标签分别输入到三维变分自编码器中，获得肝脏预测形状和标准肝脏形状的隐空间表示，几何形状正则化模块对预测形状和标准形状的隐空间表示进行一致性约束；
(8)将预处理后的肝脏CT图像输入到加入几何形状正则化模块后的肝脏分割网络中，将网络输出的分割图像进行重采样和上采样到原始图像尺寸，得到最终的肝脏分割结果。
进一步地，步骤(1)中，预处理过程具体为：训练集中每个数据进行下采样、重采样和截取工作，根据肝脏标签，找到肝脏区域开始和结束的slice，并各向外扩张相同的层数，并对训练集中每个数据调整对比度，将图像的HU值截断在[-100，240]之间，然后归一化到[0，1]之间。
进一步地，步骤(2)和步骤(5)中，每个编码块由数目不等的卷积-激活层组成，第一个编码块包括2个卷积-激活层，其余的三个编码块均包括3个卷积-激活层；每个解码块由数目不等的卷积-激活层组成，前三个解码块均包括3个卷积-激活层，最后一个解码块包括2个卷积-激活层。
进一步地，步骤(2)中，对应于网络输出的每个预测标签，对应的损失函数loss设置为交叉熵损失
Figure GDA0003447734630000031
其中，output代表网络输出的预测图，Y为对应的标准肝脏形状，m是输入图像中的像素点个数，yj和zj分别是像素点i的真实标签和预测标签，c＝1或0分别代表前景或背景；函数I(·)是示性函数，函数log为对数函数，p(·)为网络预测的概率函数；符号∑为求和符号，符号∈表示属于；对于肝脏分割网络，采取深度监督方式设置最终的损失函数Lseg，为四个映射层输出损失的加权和：
Lseg＝(loss1+loss2+loss3)*alpha+loss4
其中alpha为设置的深度监督系数，设置初始值为1，并且每40步迭代减小为原来的80％，loss1～loss4为各映射层的输出损失。
进一步地，步骤(3)中，所述利用训练好的肝脏分割网络对肝脏CT进行粗分割具体过程为：对肝脏分割网络输出的所有图像块的预测结果进行融合，原始图像中每一点被赋予属于肝脏的概率值，对概率值进行二值化操作得到肝脏的粗分割结果。
进一步地，步骤(4)中，所述对肝脏标准形状集中进行缺损操作具体过程为：对肝脏标准形状集中的肝脏形状做开闭算子操作，得到损坏的肝脏区域，进而构建肝脏形状缺损集。
进一步地，步骤(5)中，对编码器部分的输出求其对应分布的均值和标准差，从均值和标准差的正态分布中重采样一个隐空间变量，隐空间变量在解码器中生成一个肝脏形状。
进一步地，步骤(5)中，变分自编码器的目标损失函数Lshap定义为重构误差Lrec以及正态分布与标准正态分布的KL散度LKL之和：
Lshap＝Lrec+LKL
Figure GDA0003447734630000041
Figure GDA0003447734630000042
其中
Figure GDA0003447734630000043
表示输入网络的肝脏形状图像，
Figure GDA0003447734630000044
表示经过变分自编码器重构后的图像，Y为对应的标准肝脏形状；μ＝(μ1，μ2，...，μd)和σ＝(σ1，σ2，...，σd)表示编码器输出的长度为d的均值向量和标准差向量；log表示对数函数；符号||·||2表示l2范数；∑为求和符号。
进一步地，步骤(7)中，所述几何形状正则化模块对预测形状和标准形状的隐空间表示进行一致性约束，具体为对肝脏分割网络的损失函数加入隐空间表示一致性约束：
Figure GDA0003447734630000045
其中E(Yk)表示将第k个标准形状Yk输入到三维变分自编码器中获得标准肝脏形状的隐空间表示，
Figure GDA0003447734630000046
表示将第k个预测形状
Figure GDA0003447734630000047
输入到三维变分自编码器中获得肝脏预测形状的隐空间表示，n为肝脏数据个数；最终受几何形状正则化约束的肝脏分割网络目标损失函数L表示为：
L＝Lseg+λLreg
式中，λ为调节参数。
进一步地，步骤(7)中，利用肝脏分割数据的训练集训练加入几何形状正则化模块后的肝脏分割网络中的参数，利用反向传播算法调整网络参数；训练完成后，得到受几何形状一致性约束的肝脏分割模型，用于对肝脏CT进行自动分割，得到肝脏分割区域。
本发明的有益效果：本发明以数据驱动的方式，基于三维变分自编码器，学习肝脏形状特征，得到其在低维流形空间上的紧致表示，可解决肝脏几何形状表示困难的问题。同时，创新性地将表示后的形状特征通过正则化模块加入到已有的深度分割网络中，在卷积神经网络的训练过程中引入形状先验信息，可以提高分割模型的正则性和泛化能力，使得分割的结果更加符合标准肝脏的医学解剖学特点。所提出的深度形状学习方法可以适用于其他的腹部器官和影像模态，并且正则化模块可以移植到其他的深度卷积神经网络结构中，具有良好的可扩展性。本发明具有自动化、精度高、可迁移扩展的特点，可以实现以肝脏为代表的腹部大器官的自动精准分割。
附图说明
图1为基于深度形状学习的肝脏CT自动分割流程图；
图2为基于ResUNet的肝脏分割网络结构示意图；
图3为基于变分自编码器的形状学习网络结构示意图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
如图1所示，本发明提供的一种基于深度形状学习的肝脏CT自动分割方法，包括深度几何形状学习过程和肝脏分割网络训练过程。深度几何形状学习过程包括：建立肝脏形状集：包括标准形状集和肝脏缺损集。肝脏标准集收集了符合医学解剖结构特点的肝脏形状，肝脏缺损集收集了大部分肝脏区域正确但存在错误信息的肝脏形状；肝脏形状学习：基于变分自编码器学习肝脏形状特征，并对缺损肝脏形状进行修正；肝脏形状编码：由训练得到的变分自编码器的编码器部分构成，用于肝脏形状的流形空间紧致表示。肝脏分割过程包括：建立肝脏分割训练集：由原始图像和肝脏分割金标准数据集构成；三维肝脏分割网络训练：利用肝脏分割数据集训练三维深度卷积神经网络，得到肝脏初始分割模型；几何形状正则化模块：对肝脏分割网络加入正则化模块，引入肝脏形状隐空间一致损失；肝脏形状预测模块：对输入图像预测肝脏区域，并由训练完的变分自编码器修正肝脏形状。具体步骤如下：
(1)肝脏分割数据集建立预处理
(1.1)收集CT体数据，并做出这些数据的肝脏标准分割结果。记三维CT体数据为X，大小为512×512×L，其中L为体数据的层数。相对应的标准分割为Y＝(yj，j＝1，…，|X|)，yj＝{0，1}，其中|X|代表X中所有体素个数，yj＝1或yj＝0分别代表体素j属于肝脏或背景。记肝脏分割数据集为S＝{Xi，Yi，i＝1，...，n}，其中n为肝脏数据个数。将分割数据集划分为训练集Tr和测试集Tt。
(1.2)对于肝脏分割的训练集，对每对原始图像和肝脏分割标签图像做下采样、重采样和截取工作。对CT数据在横断面上进行2倍的下采样，并进行重采样，将所有数据的z轴的spacing调整到1mm。根据肝脏标签，找到肝脏区域开始和结束的slice，并各向外扩张相同的层数。
(1.3)对每个CT数据进行对比度调整。具体地，将图像的HU值截断在[-100，240]之间，然后归一化到[0，1]之间。将数据保存成.nii格式。所述HU值即CT值，是测定人体某一局部组织或器官密度大小的一种计量单位，通常称亨氏单位(hounsfield unit，HU)，空气为-1000，致密骨为+1000。
(2)利用ResUNet网络对肝脏CT进行粗分割
(2.1)如图2所示，构建ResUNet网络，该网络由编码和解码两部分组成，网络的输入大小为1*48*256*256，输出大小为1*48*256*256。编码部分包括四个编码块，每个编码块后面均连接一个下采样层。每个编码块由数目不等的卷积-激活层组成。第一个编码块包括2个卷积-激活层，其余的三个编码块均包括3个卷积-激活层。在每个编码块的最后一层卷积-激活层中，加入一个对输入的残差连接。编码部分输出的特征图大小为256*3*16*16。解码部分包括四个解码块，每个解码块前面连接一个上采样层。每个解码块由数目不等的卷积-激活层组成。前三个解码块均包括3个卷积-激活层，最后一个解码块包括2个卷积-激活层。在每个解码块的第一层卷积-激活层中，连接对应的编码块输出的特征图。并且，对每个解码块输出的特征图做一个映射层，该映射层由卷积-上采样-激活层组成。映射层的输出大小均为与网络输入图像等大的图像块，即尺寸为1*48*256*256。
对应于网络输出的每个预测标签，对应的损失函数loss设置为交叉熵损失
Figure GDA0003447734630000061
其中，output代表网络输出的预测图，m是输入图像中的像素点个数，yj和zj分别是像素点j的真实标签和预测标签，c＝1或0分别代表前景或背景；函数I(·)是示性函数，函数log为对数函数，p(·)为网络预测的概率函数；符号∑为求和符号，符号∈表示属于。对于本发明的ResUNet网络，采取深度监督方式设置最终的损失函数，即为四个映射层输出损失的加权和：
Lseg＝(loss1+loss2+loss3)*alpha+loss4
其中alpha为设置的深度监督系数，设置初始值为1，并且每40步迭代减小为原来的80％；loss1～loss4为各映射层的输出损失。
(2.2)利用肝脏分割的训练集训练ResUNet网络中的各种参数。将准备好的训练集输入到网络中，利用反向传播算法求得网络参数。训练完成，得到肝脏初始分割模型。
(2.3)取ResUNet网络训练1000步的模型，将训练集和测试集的图像输入模型中。取输入原始图像的每48层图像块作为网络的输入，经神经网络前向传播后，只取最后一层的输出output4作为网络输出。最后，对所有的图像块的预测结果进行融合，原始图像中每一点被赋予属于肝脏的概率值。对概率值进行二值化操作，二值化阈值取0.5，得到肝脏的粗分割结果，记为
Figure GDA0003447734630000062
，|X|为图像像素个数。
(3)建立肝脏形状集
(3.1)记肝脏分割标签为肝脏标准形状集合S＝{Yi，i＝1，...，n}，其中n为形状训练集的数据个数。对标准肝脏形状进行缺损操作，构成肝脏形状缺损集。具体的，对标准集合中的肝脏形状Y做开闭算子操作，得到损坏的肝脏区域
Figure GDA0003447734630000063
记肝脏缺损形状集合为
Figure GDA0003447734630000064
肝脏标准形状集合S和肝脏缺损形状集合C构成肝脏形状训练集。
(3.2)对每对标准肝脏形状和缺损肝脏形状做重采样和截取工作。将图像的分辨率重采样到1mm*1mm*1mm，并根据肝脏形状计算其外围矩形框，然后截取以矩形框为中心的大小为320*320*256的图像区域。如果体数据的层数不足256层，则在前后补足值为0的图片。最后，对图像进行2倍的下采样，最终得到大小为160*160*128大小的图像块作为变分自编码器网络的输入。
(4)利用变分自编码器学习肝脏形状
(4.1)如图3所示，构建三维变分自编码器，由编码器E和解码器D两部分组成。网络的输入大小为1*128*160*160，输出大小为1*128*160*160。编码器部分与ResUNet的编码器部分类似，包括四个编码块，每个编码块后面连接一个下采样层。每个编码块由数目不等的卷积-激活层组成。第一个编码块包括2个卷积-激活层，其余三个编码块均包括3个卷积-激活层。在前两个编码块的最后一层卷积-激活层中，加入一个对输入的残差连接。编码器部分的输出大小是128*4*5*5大小的特征图，将其拉成一个12800维的向量，并通过全连接层降维到800维的向量，然后求其对应分布的均值μ和标准差σ。从均值μ和标准差σ的正态分布中重采样一个隐空间变量z。在解码器部分，将解码器作为生成器，将变量z生成一个肝脏形状。解码器部分，包括四个解码块，每个解码块前面连接一个上采样层。每个解码块由数目不等的卷积-激活层组成。前三个解码块均包括3个卷积-激活层，最后一个解码块包括2个卷积-激活层。解码器的输出为大小为32*64*80*80的特征图，最后通过一个映射层，将特征图映射为肝脏预测图。映射层由卷积-上采样-激活层组成，输出大小为与网络输入图像等大的图像块，即尺寸为1*256*320*320。
变分自编码器的目标损失函数Lshap定义为重构误差Lrec以及正态分布与标准正态分布的KL散度LKL，即Lshap＝Lrec+LKL
Figure GDA0003447734630000071
Figure GDA0003447734630000072
其中
Figure GDA0003447734630000073
表示输入网络的肝脏形状图像，
Figure GDA0003447734630000074
表示经过变分自编码器重构后的图像，Y为对应的标准肝脏形状；μ＝(μ1，μ2，...，μd)和σ＝(σ1，σ2，...，σd)表示编码器输出的长度为d的均值向量和标准差向量；log表示对数函数；符号||·||2表示l2范数；∑为求和符号。
(4.2)利用形状训练集训练变分自编码器中的各种参数。网络中的编码器和解码器的参数由分割网络ResUNet的模型参数初始化。然后，将准备好的训练集输入到网络中，利用反向传播算法微调网络参数。训练完成，得到形状学习模型。
(4.3)取变分自编码器的编码器部分为肝脏形状编码器E。输入一个缺损的肝脏形状，可以得到其在流形空间的隐空间表示：
Figure GDA0003447734630000075
隐空间表示抽象了肝脏形状特征。隐空间表示(Latent Space Representation)是压缩数据的一个表示，为了找到模式而学习数据特征并且简化数据表示。在隐空间中，相似样本之间特征差别作为多余信息被移除了，只有其核心特征被保留。
(5)几何形状正则化模块构建
(5.1)在ResUNet分割网络中，加入几何形状正则化模块。具体的，将ResUNet输出的肝脏预测区域
Figure GDA0003447734630000081
输入编码器E中，获得肝脏预测形状的隐空间表示
Figure GDA0003447734630000082
同时，将肝脏标准分割标签输入到编码器中，获得标准肝脏形状的隐空间表示E(Y)。几何形状正则化模块对预测形状和标准形状的隐空间表示进行一致性约束，即对分割网络的损失函数加入隐空间表示一致性约束：
Figure GDA0003447734630000083
其中E(Yk)表示将第k个标准形状Yk输入到三维变分自编码器中获得标准肝脏形状的隐空间表示，
Figure GDA0003447734630000084
表示将第k个预测形状
Figure GDA0003447734630000085
输入到三维变分自编码器中获得肝脏预测形状的隐空间表示，n为肝脏数据个数；
(5.2)最终受几何形状正则化约束的肝脏分割网络目标损失函数可以表示为：
L＝Lseg+λLreg
式中，λ为调节参数，这里设置为0.1。
(5.3)利用肝脏分割的训练集训练加入几何形状正则化模块后的ResUNet分割网络网络中的各种参数，利用反向传播算法微调网络参数。训练完成，得到受几何形状一致性约束的肝脏分割模型。
(6)肝脏自动分割
(6.1)对给定的测试图像Xtest，进行下采样和重采样过程。然后，对图像灰度值进行调整，将图像的HU值截断在[-100，240]之间，然后归一化到[0，1]之间。将预处理后的测试图像输入到受几何形状一致性约束的肝脏分割模型中，得到肝脏分割结果。
(6.2)将分割图像重采样和上采样到原始图像尺寸，得到最终的肝脏分割结果。
本发明中ResUNet可以替换为其他的深度卷积神经网络模型，例如UNet，DenseNet，ResNet等，网络模型的更换不影响形状正则化模块的引入。
本发明不仅局限于用于CT肝脏数据的自动分割，影像模态也可替换为诸如核磁共振图(MRI)等其他影像数据，分割目标肝脏可以替代为诸如肾脏、脾脏等具有解剖结构特点的器官。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (10)

1.一种基于深度形状学习的肝脏CT自动分割方法，其特征在于，该方法包括以下步骤：
(1)收集包含原始图像和肝脏分割标签图像的CT体数据并进行预处理，构建肝脏分割数据的训练集；
(2)构建肝脏分割网络，肝脏分割网络由编码和解码两部分组成，编码部分包括四个编码块，每个编码块后面均连接一个下采样层；解码部分包括四个解码块，每个解码块前面连接一个上采样层；每个解码块连接对应的编码块输出的特征图，并且对每个解码块输出的特征图做一个映射层，输出大小均为与网络输入图像等大的图像块；
(3)利用步骤(1)中肝脏分割数据的训练集对肝脏分割网络进行训练，利用训练好的肝脏分割网络对肝脏CT进行粗分割；
(4)获取符合医学解剖结构特点的肝脏标准形状集，并对肝脏标准形状集中进行缺损操作，构成肝脏形状缺损集；肝脏标准形状集和肝脏形状缺损集共同构成肝脏形状训练集；
(5)构建三维变分自编码器，所述三维变分自编码器由编码器和解码器两部分组成，编码器部分包括四个编码块，每个编码块后面连接一个下采样层；解码器部分包括四个解码块，每个解码块前面连接一个上采样层；解码器的输出通过一个映射层将特征图映射为肝脏预测图；
(6)利用肝脏形状训练集训练三维变分自编码器，将一个缺损的肝脏形状输入到训练后的三维变分自编码器中，得到其在流形空间的隐空间表示；
(7)将训练好的三维变分自编码器作为几何形状正则化模块，加入到步骤(2)构建的肝脏分割网络中，将肝脏分割网络输出的粗分割结果以及肝脏标准分割标签分别输入到三维变分自编码器中，获得肝脏预测形状和标准肝脏形状的隐空间表示，几何形状正则化模块对预测形状和标准形状的隐空间表示进行一致性约束；
(8)将预处理后的肝脏CT图像输入到加入几何形状正则化模块后的肝脏分割网络中，将网络输出的分割图像进行重采样和上采样到原始图像尺寸，得到最终的肝脏分割结果。
2.根据权利要求1所述的一种基于深度形状学习的肝脏CT自动分割方法，其特征在于，步骤(1)中，预处理过程具体为：训练集中每个数据进行下采样、重采样和截取工作，根据肝脏标签，找到肝脏区域开始和结束的slice，并各向外扩张相同的层数，并对训练集中每个数据调整对比度，将图像的HU值截断在[-100，240]之间，然后归一化到[0，1]之间，所述HU值即CT值，是测定人体某一局部组织或器官密度大小的一种计量单位，称亨氏单位。
3.根据权利要求1所述的一种基于深度形状学习的肝脏CT自动分割方法，其特征在于，步骤(2)和步骤(5)中，每个编码块由数目不等的卷积-激活层组成，第一个编码块包括2个卷积-激活层，其余的三个编码块均包括3个卷积-激活层；每个解码块由数目不等的卷积-激活层组成，前三个解码块均包括3个卷积-激活层，最后一个解码块包括2个卷积-激活层。
4.根据权利要求1所述的一种基于深度形状学习的肝脏CT自动分割方法，其特征在于，步骤(2)中，对应于网络输出的每个预测标签，对应的损失函数loss设置为交叉熵损失
Figure FDA0003447734620000021
其中，output代表网络输出的预测图，Y为对应的标准肝脏形状，m是输入图像中的像素点个数，yj和zj分别是像素点j的真实标签和预测标签，c＝1或0分别代表前景或背景；函数I(·)是示性函数，函数log为对数函数，p(·)为网络预测的概率函数；符号∑为求和符号，符号∈表示属于；对于肝脏分割网络，采取深度监督方式设置最终的损失函数Lseg，为四个映射层输出损失的加权和：
Lseg＝(loss1+loss2+loss3)*alpha+loss4
其中alpha为设置的深度监督系数，设置初始值为1，并且每40步迭代减小为原来的80％，loss1～loss4为各映射层的输出损失。
5.根据权利要求1所述的一种基于深度形状学习的肝脏CT自动分割方法，其特征在于，步骤(3)中，所述利用训练好的肝脏分割网络对肝脏CT进行粗分割具体过程为：对肝脏分割网络输出的所有图像块的预测结果进行融合，原始图像中每一点被赋予属于肝脏的概率值，对概率值进行二值化操作得到肝脏的粗分割结果。
6.根据权利要求1所述的一种基于深度形状学习的肝脏CT自动分割方法，其特征在于，步骤(4)中，所述对肝脏标准形状集中进行缺损操作具体过程为：对肝脏标准形状集中的肝脏形状做开闭算子操作，得到损坏的肝脏区域，进而构建肝脏形状缺损集。
7.根据权利要求1所述的一种基于深度形状学习的肝脏CT自动分割方法，其特征在于，步骤(5)中，对编码器部分的输出求其对应分布的均值和标准差，从均值和标准差的正态分布中重采样一个隐空间变量，隐空间变量在解码器中生成一个肝脏形状。
8.根据权利要求1所述的一种基于深度形状学习的肝脏CT自动分割方法，其特征在于，步骤(5)中，变分自编码器的目标损失函数Lshap定义为重构误差Lrec以及正态分布与标准正态分布的KL散度LKL之和：
Lshap＝Lrec+LKL
Figure FDA0003447734620000022
Figure FDA0003447734620000023
其中
Figure FDA0003447734620000031
表示输入网络的肝脏形状图像，
Figure FDA0003447734620000032
表示经过变分自编码器重构后的图像，Y为对应的标准肝脏形状；μ＝(μ1，μ2，...，μd)和σ＝(σ1，σ2，...，σd)表示编码器输出的长度为d的均值向量和标准差向量；log表示对数函数；符号||·||2表示l2范数；∑为求和符号。
9.根据权利要求4所述的一种基于深度形状学习的肝脏CT自动分割方法，其特征在于，步骤(7)中，所述几何形状正则化模块对预测形状和标准形状的隐空间表示进行一致性约束，具体为对肝脏分割网络的损失函数加入隐空间表示一致性约束：
Figure FDA0003447734620000033
其中E(Yk)表示将第k个标准形状Yk输入到三维变分自编码器中获得标准肝脏形状的隐空间表示，
Figure FDA0003447734620000034
表示将第k个预测形状
Figure FDA0003447734620000035
输入到三维变分自编码器中获得肝脏预测形状的隐空间表示，n为肝脏数据个数；最终受几何形状正则化约束的肝脏分割网络目标损失函数L表示为：
L＝Lseg+λLreg
式中，λ为调节参数。
10.根据权利要求1所述的一种基于深度形状学习的肝脏CT自动分割方法，其特征在于，步骤(7)中，利用肝脏分割数据的训练集训练加入几何形状正则化模块后的肝脏分割网络中的参数，利用反向传播算法调整网络参数；训练完成后，得到受几何形状一致性约束的肝脏分割模型，用于对肝脏CT进行自动分割，得到肝脏分割区域。
CN202111240331.9A 2021-10-25 2021-10-25 一种基于深度形状学习的肝脏ct自动分割方法 Active CN113674281B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111240331.9A CN113674281B (zh) 2021-10-25 2021-10-25 一种基于深度形状学习的肝脏ct自动分割方法
PCT/CN2022/116983 WO2023071531A1 (zh) 2021-10-25 2022-09-05 一种基于深度形状学习的肝脏ct自动分割方法
JP2023535617A JP2023550844A (ja) 2021-10-25 2022-09-05 深層形状学習に基づく肝臓ｃｔ自動分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111240331.9A CN113674281B (zh) 2021-10-25 2021-10-25 一种基于深度形状学习的肝脏ct自动分割方法

Publications (2)

Publication Number Publication Date
CN113674281A CN113674281A (zh) 2021-11-19
CN113674281B true CN113674281B (zh) 2022-02-22

Family

ID=78551033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111240331.9A Active CN113674281B (zh) 2021-10-25 2021-10-25 一种基于深度形状学习的肝脏ct自动分割方法

Country Status (3)

Country Link
JP (1) JP2023550844A (zh)
CN (1) CN113674281B (zh)
WO (1) WO2023071531A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674281B (zh) * 2021-10-25 2022-02-22 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法
CN114660934B (zh) * 2022-03-03 2024-03-01 西北工业大学 一种基于视觉-触觉融合的机械臂自主操作策略学习方法
CN114693622B (zh) * 2022-03-22 2023-04-07 电子科技大学 一种基于人工智能的斑块侵蚀自动检测系统
CN114627389B (zh) * 2022-03-23 2023-01-31 中国科学院空天信息创新研究院 一种基于多时相光学遥感影像的筏式养殖区提取方法
CN114820663B (zh) * 2022-06-28 2022-09-09 日照天一生物医疗科技有限公司 用于确定射频消融治疗的辅助定位方法
CN116309385B (zh) * 2023-02-27 2023-10-10 之江实验室 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统
CN116402833B (zh) * 2023-06-08 2023-08-22 武汉纺织大学 一种基于知识蒸馏的半监督视频目标分割方法
CN116758103B (zh) * 2023-08-17 2023-11-07 西北工业大学太仓长三角研究院 基于ct扫描的食管肿瘤分割形状感知对比深度监督方法
CN116823625B (zh) * 2023-08-30 2023-12-12 之江实验室 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
CN117036355B (zh) * 2023-10-10 2023-12-15 湖南大学 编码器和模型的训练方法、故障检测方法及相关设备
CN117495882A (zh) * 2023-12-28 2024-02-02 无锡学院 一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258530A (zh) * 2020-12-21 2021-01-22 四川大学 基于神经网络的计算机辅助肺结节自动分割方法
CN112634265A (zh) * 2021-01-04 2021-04-09 西北大学 基于dnn的胰腺全自动分割模型的构建、分割方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6887055B2 (ja) * 2018-02-28 2021-06-16 富士フイルム株式会社 機械学習方法及び装置、プログラム、学習済みモデル、並びに判別装置
US11227683B2 (en) * 2020-01-23 2022-01-18 GE Precision Healthcare LLC Methods and systems for characterizing anatomical features in medical images
CN112150428B (zh) * 2020-09-18 2022-12-02 青岛大学 一种基于深度学习的医学图像分割方法
CN113223004A (zh) * 2021-05-07 2021-08-06 西安智诊智能科技有限公司 一种基于深度学习的肝脏图像分割方法
CN113362310A (zh) * 2021-06-09 2021-09-07 西安智诊智能科技有限公司 一种基于无监督学习的医学图像肝脏分割方法
CN113674281B (zh) * 2021-10-25 2022-02-22 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258530A (zh) * 2020-12-21 2021-01-22 四川大学 基于神经网络的计算机辅助肺结节自动分割方法
CN112634265A (zh) * 2021-01-04 2021-04-09 西北大学 基于dnn的胰腺全自动分割模型的构建、分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于生成对抗网络的肝脏CT图像分割;邓鸿等;《北京生物医学工程》;20210831;第40卷(第04期);全文 *
深度学习结合影像组学的肝脏肿瘤CT分割;刘云鹏等;《中国图象图形学报》;20201031;第25卷(第10期);全文 *

Also Published As

Publication number Publication date
JP2023550844A (ja) 2023-12-05
WO2023071531A1 (zh) 2023-05-04
CN113674281A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN113674281B (zh) 一种基于深度形状学习的肝脏ct自动分割方法
Sun et al. An adversarial learning approach to medical image synthesis for lesion detection
CN109598727B (zh) 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN111709953B (zh) Ct影像的肺叶段分割中的输出方法、装置
CN113870258B (zh) 一种基于对抗学习的无标签胰腺影像自动分割系统
CN111640120B (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN111798462A (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN110188792A (zh) 前列腺mri三维图像的图像特征获取方法
CN114565613B (zh) 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN112365464A (zh) 一种基于gan的医学图像病变区域弱监督定位方法
CN111429473A (zh) 基于多尺度特征融合的胸片肺野分割模型建立及分割方法
Wang et al. Annotation-efficient learning for medical image segmentation based on noisy pseudo labels and adversarial learning
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
CN115908297A (zh) 基于拓扑知识的医学影像中血管分割建模方法
CN112465754A (zh) 基于分层感知融合的3d医疗图像分割方法、装置及存储介质
CN115966302A (zh) 基于深度对比学习的半监督膝关节炎辅助分析方法
CN110570430B (zh) 基于体配准的眼眶骨组织分割方法
CN117274599A (zh) 一种基于组合双任务自编码器的脑磁共振分割方法及系统
CN117392389A (zh) 基于mt-sass网络的肾癌mri图像分割分类方法
CN115496732B (zh) 一种半监督心脏语义分割算法
Yang A novel brain image segmentation method using an improved 3D U-net model
CN116645380A (zh) 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant