CN110782474B - 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法 - Google Patents

基于深度学习的预测消融术后肝脏肿瘤形态变化的方法 Download PDF

Info

Publication number
CN110782474B
CN110782474B CN201911067810.8A CN201911067810A CN110782474B CN 110782474 B CN110782474 B CN 110782474B CN 201911067810 A CN201911067810 A CN 201911067810A CN 110782474 B CN110782474 B CN 110782474B
Authority
CN
China
Prior art keywords
liver
image
ablation
map
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911067810.8A
Other languages
English (en)
Other versions
CN110782474A (zh
Inventor
梁萍
于杰
董立男
程志刚
王守超
于晓玲
刘方义
韩治宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese PLA General Hospital
Original Assignee
Chinese PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese PLA General Hospital filed Critical Chinese PLA General Hospital
Priority to CN201911067810.8A priority Critical patent/CN110782474B/zh
Publication of CN110782474A publication Critical patent/CN110782474A/zh
Priority to PCT/CN2020/125768 priority patent/WO2021088747A1/zh
Priority to EP20875660.1A priority patent/EP3913576A4/en
Priority to US17/773,057 priority patent/US11776120B2/en
Application granted granted Critical
Publication of CN110782474B publication Critical patent/CN110782474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20124—Active shape model [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，包括：获取患者肝脏肿瘤消融前后的医学影像图；对消融前后的医学影像图进行预处理；获取术前肝脏区域图和术前肝脏肿瘤区域图；获取术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图；利用CPD点集配准算法获得变换矩阵，根据变换矩阵获得配准结果图；通过随机梯度下降法对网络进行训练，获得肝脏肿瘤预测模型；利用肝脏肿瘤预测模型预测患者进行消融术后的肝脏肿瘤形态变化。本发明可以根据患者CT/MRI图像，预测患者消融后的肝脏肿瘤形态变化，为定量评估消融区是否完全覆盖肿瘤提供依据，并为患者后续治疗方案奠定了基础。

Description

基于深度学习的预测消融术后肝脏肿瘤形态变化的方法
技术领域
本发明属于微创消融领域，具体涉及一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法。
背景技术
近年来，影像引导下的经皮热消融技术已成为肝、肾、乳腺等实体肿瘤极具前景的微创治疗方法之一。其中微波消融是通过超声、CT等影像引导，将消融针插入肿瘤内，通过释放电磁波使局部区域极性分子震荡摩擦产生高温，最终达到灭活肿瘤的目的。与传统手术相比，具有创伤小、疗效好、恢复快、可重复、费用低且可提高机体免疫功能等优点，可以实现无需开刀而彻底灭活肿瘤的良好疗效。但不同于开腹手术中肿瘤及治疗区域的清晰看见，微创消融是在术中二维影像引导下进行，其治疗区域是否完全覆盖肿瘤并达到足够的安全边界需通过术前和术后影像的对比进行评估。然而由于术前术后患者体位变化及治疗过程导致的软组织形变，包括消融灭活区域的组织收缩和肝脏再生体积膨胀，导致仅通过术前术后二维影像对比或三维刚性配准无法进行精确疗效评估，所以如何通过术前术后影像在三维空间上实现肿瘤消融的精准疗效评估是目前的难点问题。
针对术前术后影像三维空间的评估，点云配准是近年来常用的配准方式。目前，有大量的方法被研究用于图像三维空间配准，其中迭代最近邻法(Iterative ClosestPoint，ICP)是最经典常用的算法。后续算法大多在其基础上改进优化而成。但无论哪种方法，在其配准过程中，都仅考虑了图像自身特征，没有将临床治疗过程中高温导致的局部组织收缩等变化考虑在内，导致评估结果的不准确性。
深度学习源于人工神经网络，可通过样本数据的学习，掌握内在规律，进而实现同类数据的推测和判断，是实现人工智能的必经路径。随着医疗信息化和数字化诊断的发展，医疗数据量的不断增加，深度学习将可能为医疗领域提供强有力的支持。
发明内容
为了解决现有技术存在的上述问题，本发明目的在于提供一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，为患者后续治疗方案的制定奠定基础。
本发明所采用的技术方案为：一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，包括以下步骤：
获取患者肝脏肿瘤消融前后的医学影像图；
对消融前后的医学影像图进行预处理；
从消融前的医学影像图中获取术前肝脏区域图和术前肝脏肿瘤区域图；从消融后的医学影像图中获取术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图；
利用CPD点集配准算法对术前肝脏区域图和术后肝脏区域图进行配准，获得变换矩阵，根据变换矩阵获得术前肝脏区域图和术前肝脏肿瘤区域图对应于消融后的医学影像图的配准结果图；
将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图作为U-net网络输入，并将术后肝脏肿瘤残影图作为真实训练标签，通过随机梯度下降法对网络进行训练，获得肝脏肿瘤预测模型；
利用肝脏肿瘤预测模型预测患者进行消融术后的肝脏肿瘤形态变化。
作为优选方式，所述医学影像图包括CT和MRI。
作为优选方式，对消融前后的医学影像图进行预处理具体为：根据肝脏影响因素对数据集进行分组划分，然后读取消融前后的医学影像图，对医学影像图进行高斯去噪、灰度直方图均衡化、增强图像对比度、旋转、翻转和数据标准化处理。
作为优选方式，所述肝脏影响因素包括肝脏状态、肿瘤类型和病理类型。
作为优选方式，从消融前的医学影像图中获取术前肝脏区域图和术前肝脏肿瘤区域图；从消融后的医学影像图中获取术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图具体为：利用最大流/最小割算法标记出术前肝脏区域图、术前肝脏肿瘤区域图、术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图，分割过程中引入基于整体和局部区域表征的势能场函数作为约束，建立自适应混合变分模型，利用最大流/最小割算法对能量方程最小化进行求解，在不同图像区域有选择性地根据灰度信息、边界梯度、纹理信息及局部上下文信息确定目标区域。
作为优选方式，利用CPD点集配准算法对术前肝脏区域图和术后肝脏区域图进行配准，获得变换矩阵，根据变换矩阵获得术前肝脏区域图和术前肝脏肿瘤区域图对应于消融后的医学影像图的配准结果图具体为：获取术前肝脏区域图和术后肝脏区域图的肝脏数据点集，令术前肝脏区域图的术前肝脏数据点集为Xi＝(x1,...,xN)T，作为目标点集，令术后肝脏区域图的术后肝脏数据点集为Yi＝(y1,...,yM)T，作为模板点集；目标点集作为高斯混合模型的数据集，模板点集作为高斯混合模型的内核点集，N和M分别代表目标点集和模板点集的个数，则高斯混合模型的概率密度函数为：
Figure GDA0003813935690000031
Figure GDA0003813935690000032
其中，p(x|m)是高斯混合模型的概率密度基函数，ω表示溢出点的权重值，取值范围为0～1，x为平移变量；
计算最小负对数似然函数：
Figure GDA0003813935690000041
根据梯度下降法，对其进行求导可得：
Figure GDA0003813935690000042
其中，
Figure GDA0003813935690000043
Figure GDA0003813935690000044
Figure GDA0003813935690000045
Figure GDA0003813935690000046
采用最大期望算法进行迭代，求解出模型的最佳参数，最后根据选取的点云数据和变换参数，计算术前肝脏区域图对应于术后的医学影像图中的位置。
作为优选方式，将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图作为U-net网络输入，并将术后肝脏肿瘤残影图作为真实训练标签，通过随机梯度下降法对网络进行训练，获得肝脏肿瘤预测模型具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图组成4通道的图像数据，然后输入U-net进行编码，获得像素分类概率图，将像素分类概率图中概率≥0.5的像素点判定为肝脏肿瘤，概率<0.5的像素点判定为背景，最终获得预测的肝脏肿瘤区域。
作为优选方式，获得像素分类概率图具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图组成4通道的图像数据，然后输入U-net进行编码，输入数据经过两次卷积，每次卷积的输出通道数为64，获得特征图f1，进行最大池化；再经过两次卷积，每次卷积的输出通道数为128，获得特征图f2，进行最大池化；再经过两次卷积，每次卷积的输出通道数为256，获得特征图f3，进行最大池化；再经过两次卷积，每次卷积的输出通道数为512，获得特征图f4，进行最大池化；再经过两次卷积，每次卷积的输出通道数为1024，获得特征图f5，此过程为编码过程；再对f5进行解码，即将f5进行上采样并与f4进行concat，经过两次卷积，每次卷积的输出通道数为512，获得特征图f4_1；对f4_1进行上采样并与f3进行concat，经过两次卷积，每次卷积的输出通道数为256，获得特征图f3_1；对f3_1进行上采样并与f2进行concat，经过两次卷积，每次卷积的输出通道为128，获得特征图f2_1；对f2_1进行上采样并与f1进行concat，经过两次卷积，每次卷积的输出通道数为64，再经过一次卷积，输出通道数为2，得到像素分类概率图；所述concat为将两个特征图在通道维度上进行连接。
作为优选方式，所述卷积具体为：
Figure GDA0003813935690000051
其中，符号*表示卷积运算符；l表示层数；i表示l-1层的第i个神经元节点；j表示l层的第j个神经元节点；Mj表示选择的输入特征图的集合；
Figure GDA0003813935690000052
是指l-1层的输出，作为l层的输入；f表示激活函数；上述最大池化即在一个区域中选取最大值，代表该区域特征。
作为优选方式，在网络进行训练过程中构建Dice损失函数，用于缓解背景和前景像素不平衡问题，所述Dice损失函数具体为：
Figure GDA0003813935690000061
其中，p表示预测的肝脏肿瘤区域，t表示真实肝脏肿瘤区域。
本发明的有益效果为：
本发明提供了一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其利用CPD点集配准和U-net网络预测消融术后肝脏肿瘤的形态变化，通过对消融前后的肝脏轮廓进行配准，获得变换关系，进而获得术前肝脏肿瘤在术后CT/MRI图像的位置，最后使用U-net网络预测患者进行消融手术后的肝脏肿瘤形态变化。本发明能够预测患者消融后的肝脏肿瘤形态变化，为定量评估消融区是否完全覆盖肿瘤提供依据，并为患者后续治疗方案奠定了基础。
附图说明
图1为本发明的流程图；
图2为本发明中交互式分割结果图；
图3为本发明中CPD配准结果图；
图4为本发明中U-net网络结构图；
图5为本发明中肿瘤形变修正结果图。
具体实施方式
如图1所示，本实施例提供了一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，包括以下步骤：
步骤1，获取患者肝脏肿瘤消融前后的CT/MRI扫描序列图像。
步骤2，对消融前后的医学影像图进行预处理，具体为：根据肝脏影响因素对数据集进行分组划分，然后读取消融前后的CT/MRI扫描序列图像，对CT/MRI扫描序列图像进行高斯去噪、灰度直方图均衡化、增强图像对比度、旋转、翻转和数据标准化处理，以增加样本多样性，同时加快网络收敛速度。其中，所述肝脏影响因素包括肝脏状态、肿瘤类型和病理类型等因素。
步骤3，从消融前的医学影像图中获取术前肝脏区域图和术前肝脏肿瘤区域图；从消融后的医学影像图中获取术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图，如图2所示，具体为：利用最大流/最小割(Max-Flow/Min-Cut)算法标记出术前肝脏区域图、术前肝脏肿瘤区域图、术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图，在分割过程中引入基于整体和局部区域表征的势能场函数作为约束，建立自适应混合变分模型，利用最大流/最小割算法对能量方程最小化进行求解，在不同图像区域有选择性地根据灰度信息、边界梯度、纹理信息及局部上下文信息确定目标区域。在单层数据上的简单交互，就能快速完成三维分割，医生在手动修改分割结果，高效准确的完成图像标注。
步骤4，利用CPD点集配准算法对术前肝脏区域图和术后肝脏区域图进行配准，获得变换矩阵，根据变换矩阵获得术前肝脏区域图和术前肝脏肿瘤区域图对应于消融后的医学影像图的配准结果图，具体为：
获取术前肝脏区域图和术后肝脏区域图的肝脏数据点集，令术前肝脏区域图的术前肝脏数据点集为Xi＝(x1,...,xN)T，作为目标点集，令术后肝脏区域图的术后肝脏数据点集为Yi＝(y1,...,yM)T，作为模板点集；目标点集作为高斯混合模型的数据集，模板点集作为高斯混合模型的内核点集，N和M分别代表目标点集和模板点集的个数，则高斯混合模型的概率密度函数为：
Figure GDA0003813935690000071
Figure GDA0003813935690000072
其中，p(x|m)是高斯混合模型的概率密度基函数，ω表示溢出点的权重值，取值范围为0～1，x为平移变量；为了获得σ，计算最小负对数似然函数：
Figure GDA0003813935690000081
根据梯度下降法，对其进行求导可得：
Figure GDA0003813935690000082
其中，
Figure GDA0003813935690000083
Figure GDA0003813935690000084
Figure GDA0003813935690000085
Figure GDA0003813935690000086
采用最大期望算法(Expectation-Maximization algorithm,EM)进行迭代，求解出模型的最佳参数，最后根据选取的点云数据和变换参数，计算术前肝脏区域图对应于术后的CT/MRI扫描序列图像中的位置。通过对肝脏的配准，间接实现肝脏肿瘤消融区域和肝脏肿瘤的配准。配准结果如图3所示，1为灭活肿瘤残影，2为术前肿瘤配准变换结果，3为术后消融区域，可见初步配准结果与实际肿瘤形态有所差异。
步骤5，将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图作为U-net网络输入，并将术后肝脏肿瘤残影图作为真实训练标签，通过随机梯度下降法对网络进行训练，获得肝脏肿瘤预测模型具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图作为U-net网络输入，并将术后肝脏肿瘤残影图作为真实训练标签，通过随机梯度下降法对网络进行训练，获得肝脏肿瘤预测模型具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图组成4通道的图像数据，然后输入U-net进行编码，获得像素分类概率图，将像素分类概率图中概率≥0.5的像素点判定为肝脏肿瘤，概率<0.5的像素点判定为背景，最终获得预测的肝脏肿瘤区域。
如图4所示，其中，获得像素分类概率图具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图组成4通道的图像数据，然后输入U-net进行编码，输入数据经过两次卷积，每次卷积的输出通道数为64，获得特征图f1，进行最大池化；再经过两次卷积，每次卷积的输出通道数为128，获得特征图f2，进行最大池化；再经过两次卷积，每次卷积的输出通道数为256，获得特征图f3，进行最大池化；再经过两次卷积，每次卷积的输出通道数为512，获得特征图f4，进行最大池化；再经过两次卷积，每次卷积的输出通道数为1024，获得特征图f5，此过程为编码过程；再对f5进行解码，即将f5进行上采样并与f4进行concat，经过两次卷积，每次卷积的输出通道数为512，获得特征图f4_1；对f4_1进行上采样并与f3进行concat，经过两次卷积，每次卷积的输出通道数为256，获得特征图f3_1；对f3_1进行上采样并与f2进行concat，经过两次卷积，每次卷积的输出通道为128，获得特征图f2_1；对f2_1进行上采样并与f1进行concat，经过两次卷积，每次卷积的输出通道数为64，再经过一次卷积，输出通道数为2，得到像素分类概率图；所述concat为将两个特征图在通道维度上进行连接。
所述卷积具体为：
Figure GDA0003813935690000091
其中，符号*表示卷积运算符；l表示层数；i表示l-1层的第i个神经元节点；j表示l层的第j个神经元节点；Mj表示选择的输入特征图的集合；
Figure GDA0003813935690000092
是指l-1层的输出，作为l层的输入；f表示激活函数；上述最大池化即在一个区域中选取最大值，代表该区域特征。
在网络进行训练过程中构建Dice损失函数，用于缓解背景和前景像素不平衡问题，所述Dice损失函数具体为：
Figure GDA0003813935690000101
其中，p表示预测的肝脏肿瘤区域，t表示真实肝脏肿瘤区域。训练过程中进行一次反向传播的损失包括预测出来的肿瘤位置和真实位置之间的偏差计算出来的损失。
步骤6，利用肝脏肿瘤预测模型预测患者进行消融术后的肝脏肿瘤形态变化。根据步骤2中数据集的分组情况，可以得到多个U-net网络模型，再根据肝脏基本形态、肿瘤类型、病理类型等输入到对应的网络模型中并预测肿瘤的变化。根据测肿瘤的变化和实际肿瘤的变化，然后修正步骤4所得肿瘤形态，肿瘤形变修正结果如图5所示，5为灭活肿瘤残影，4为术前肿瘤配准变换结果，6为术后消融区域，可见修正后肿瘤形变基本与灭活后实际形态相符。
本发明提供了一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其利用CPD点集配准和U-net网络预测消融术后肝脏肿瘤的形态变化，通过对消融前后的肝脏轮廓进行配准，获得变换关系，进而获得术前肝脏肿瘤在术后CT/MRI图像的位置，最后使用U-net网络预测患者进行消融手术后的肝脏肿瘤形态变化。本发明能够预测患者消融后的肝脏肿瘤形态变化，为定量评估消融区是否完全覆盖肿瘤提供依据，并为患者后续治疗方案奠定了基础。
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其特征在于，包括以下步骤：
获取患者肝脏肿瘤消融前后的医学影像图；
对消融前后的医学影像图进行预处理；
从消融前的医学影像图中获取术前肝脏区域图和术前肝脏肿瘤区域图；从消融后的医学影像图中获取术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图；
利用CPD点集配准算法对术前肝脏区域图和术后肝脏区域图进行配准，获得变换矩阵，根据变换矩阵获得术前肝脏区域图和术前肝脏肿瘤区域图对应于消融后的医学影像图的配准结果图；
将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图作为U-net网络输入，并将术后肝脏肿瘤残影图作为真实训练标签，通过随机梯度下降法对网络进行训练，获得肝脏肿瘤预测模型；
利用肝脏肿瘤预测模型预测患者进行消融术后的肝脏肿瘤形态变化。
2.根据权利要求1所述的基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其特征在于，所述医学影像图包括CT和MRI。
3.根据权利要求1所述的基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其特征在于，对消融前后的医学影像图进行预处理具体为：根据肝脏影响因素对数据集进行分组划分，然后读取消融前后的医学影像图，对医学影像图进行高斯去噪、灰度直方图均衡化、增强图像对比度、旋转、翻转和数据标准化处理。
4.根据权利要求3所述的基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其特征在于，所述肝脏影响因素包括肝脏状态、肿瘤类型和病理类型。
5.根据权利要求1所述的基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其特征在于，从消融前的医学影像图中获取术前肝脏区域图和术前肝脏肿瘤区域图；从消融后的医学影像图中获取术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图具体为：利用最大流/最小割算法标记出术前肝脏区域图、术前肝脏肿瘤区域图、术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图，分割过程中引入基于整体和局部区域表征的势能场函数作为约束，建立自适应混合变分模型，利用最大流/最小割算法对能量方程最小化进行求解，在不同图像区域有选择性地根据灰度信息、边界梯度、纹理信息及局部上下文信息确定目标区域。
6.根据权利要求5所述的基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其特征在于，利用CPD点集配准算法对术前肝脏区域图和术后肝脏区域图进行配准，获得变换矩阵，根据变换矩阵获得术前肝脏区域图和术前肝脏肿瘤区域图对应于消融后的医学影像图的配准结果图具体为：获取术前肝脏区域图和术后肝脏区域图的肝脏数据点集，令术前肝脏区域图的术前肝脏数据点集为Xi＝(x1,...,xN)T，作为目标点集，令术后肝脏区域图的术后肝脏数据点集为Yi＝(y1,...,yM)T，作为模板点集；目标点集作为高斯混合模型的数据集，模板点集作为高斯混合模型的内核点集，N和M分别代表目标点集和模板点集的个数，则高斯混合模型的概率密度函数为：
Figure FDA0002259948660000021
Figure FDA0002259948660000022
其中，p(x|m)是高斯混合模型的概率密度基函数，ω表示溢出点的权重值，取值范围为0～1，x为平移变量；
计算最小负对数似然函数：
Figure FDA0002259948660000031
根据梯度下降法，对其进行求导可得：
Figure FDA0002259948660000032
其中，
Figure FDA0002259948660000033
Figure FDA0002259948660000034
Figure FDA0002259948660000035
Figure FDA0002259948660000036
采用最大期望算法进行迭代，求解出模型的最佳参数，最后根据选取的点云数据和变换参数，计算术前肝脏区域图对应于术后的医学影像图中的位置。
7.根据权利要求6所述的基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其特征在于，将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图作为U-net网络输入，并将术后肝脏肿瘤残影图作为真实训练标签，通过随机梯度下降法对网络进行训练，获得肝脏肿瘤预测模型具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图组成4通道的图像数据，然后输入U-net进行编码，获得像素分类概率图，将像素分类概率图中概率≥0.5的像素点判定为肝脏肿瘤，概率<0.5的像素点判定为背景，最终获得预测的肝脏肿瘤区域。
8.根据权利要求7所述的基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其特征在于，获得像素分类概率图具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图组成4通道的图像数据，然后输入U-net进行编码，输入数据经过两次卷积，每次卷积的输出通道数为64，获得特征图f1，进行最大池化；再经过两次卷积，每次卷积的输出通道数为128，获得特征图f2，进行最大池化；再经过两次卷积，每次卷积的输出通道数为256，获得特征图f3，进行最大池化；再经过两次卷积，每次卷积的输出通道数为512，获得特征图f4，进行最大池化；再经过两次卷积，每次卷积的输出通道数为1024，获得特征图f5，此过程为编码过程；再对f5进行解码，即将f5进行上采样并与f4进行concat，经过两次卷积，每次卷积的输出通道数为512，获得特征图f4_1；对f4_1进行上采样并与f3进行concat，经过两次卷积，每次卷积的输出通道数为256，获得特征图f3_1；对f3_1进行上采样并与f2进行concat，经过两次卷积，每次卷积的输出通道为128，获得特征图f2_1；对f2_1进行上采样并与f1进行concat，经过两次卷积，每次卷积的输出通道数为64，再经过一次卷积，输出通道数为2，得到像素分类概率图；所述concat为将两个特征图在通道维度上进行连接。
9.根据权利要求8所述的基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其特征在于，所述卷积具体为：
Figure FDA0002259948660000041
其中，符号*表示卷积运算符；l表示层数；i表示l-1层的第i个神经元节点；j表示l层的第j个神经元节点；Mj表示选择的输入特征图的集合；
Figure FDA0002259948660000042
是指l-1层的输出，作为l层的输入；f表示激活函数；上述最大池化即在一个区域中选取最大值，代表该区域特征。
10.根据权利要求9所述的基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，其特征在于，在网络进行训练过程中构建Dice损失函数，用于缓解背景和前景像素不平衡问题，所述Dice损失函数具体为：
Figure FDA0002259948660000051
其中，p表示预测的肝脏肿瘤区域，t表示真实肝脏肿瘤区域。
CN201911067810.8A 2019-11-04 2019-11-04 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法 Active CN110782474B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911067810.8A CN110782474B (zh) 2019-11-04 2019-11-04 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法
PCT/CN2020/125768 WO2021088747A1 (zh) 2019-11-04 2020-11-02 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法
EP20875660.1A EP3913576A4 (en) 2019-11-04 2020-11-02 DEEP LEARNING-BASED METHOD FOR PREDICTING MORPHOLOGICAL CHANGE OF LIVER TUMORS AFTER ABLATION
US17/773,057 US11776120B2 (en) 2019-11-04 2020-11-02 Method for predicting morphological changes of liver tumor after ablation based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911067810.8A CN110782474B (zh) 2019-11-04 2019-11-04 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法

Publications (2)

Publication Number Publication Date
CN110782474A CN110782474A (zh) 2020-02-11
CN110782474B true CN110782474B (zh) 2022-11-15

Family

ID=69389001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911067810.8A Active CN110782474B (zh) 2019-11-04 2019-11-04 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法

Country Status (4)

Country Link
US (1) US11776120B2 (zh)
EP (1) EP3913576A4 (zh)
CN (1) CN110782474B (zh)
WO (1) WO2021088747A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782474B (zh) * 2019-11-04 2022-11-15 中国人民解放军总医院 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法
CN111528918B (zh) * 2020-04-30 2023-02-21 深圳开立生物医疗科技股份有限公司 消融术后肿瘤体积变化趋势图生成装置、设备及存储介质
FR3110764B1 (fr) * 2020-05-20 2024-05-10 Quantum Surgical Méthode de prédiction de la récidive d’une lésion par analyse d’images
CN111973271B (zh) * 2020-08-31 2021-12-14 北京理工大学 针对肿瘤热消融的术前消融区域模拟方法及装置
CN113052864B (zh) * 2021-03-02 2022-12-23 四川大学 一种基于机器学习的整形手术术后体貌预测方法
JP2022149625A (ja) * 2021-03-25 2022-10-07 キヤノンメディカルシステムズ株式会社 医用画像診断システムおよび画像処理プログラム
CN113674142B (zh) * 2021-08-30 2023-10-17 国家计算机网络与信息安全管理中心 图像中目标物的消融方法、装置、计算机设备及介质
CN113823385B (zh) * 2021-09-03 2024-03-19 青岛海信医疗设备股份有限公司 一种修改dicom图像的方法、装置、设备及介质
CN114451986A (zh) * 2022-01-19 2022-05-10 杭州堃博生物科技有限公司 蒸汽消融的处理方法、装置、系统、设备与介质
CN114612479B (zh) * 2022-02-09 2023-03-24 苏州大学 基于全局与局部特征重建网络的医学图像分割方法和装置
CN114187293B (zh) * 2022-02-15 2022-06-03 四川大学 基于注意力机制和集成配准的口腔腭部软硬组织分割方法
CN114757982B (zh) * 2022-04-11 2024-06-21 北京理工大学 应用于肝脏消融术后评估的配准方法及装置
CN114937045A (zh) * 2022-06-20 2022-08-23 四川大学华西医院 一种肝细胞癌病理图像分割系统
CN116309431B (zh) * 2023-03-14 2023-10-27 中国人民解放军空军军医大学 一种基于医学影像的视觉解释方法
CN116934768B (zh) * 2023-08-16 2024-05-10 中国人民解放军总医院 用于提高cta影像模态中血管分割精度的方法及系统
CN117637188B (zh) * 2024-01-26 2024-04-09 四川省肿瘤医院 基于数字化平台的肿瘤化疗反应监测方法、介质及系统
CN117894482A (zh) * 2024-03-14 2024-04-16 北方健康医疗大数据科技有限公司 一种医学肿瘤的编码方法、系统、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107049475A (zh) * 2017-04-19 2017-08-18 纪建松 肝癌局部消融方法及系统
CN110175958A (zh) * 2019-04-24 2019-08-27 艾瑞迈迪科技石家庄有限公司 一种基于医学影像的消融结果分析方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9779213B2 (en) * 2008-07-25 2017-10-03 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud System for evaluating a pathological stage of prostate cancer
US20100063392A1 (en) * 2008-09-08 2010-03-11 Olympus Medical Systems Corp. Ultrasound-guided ablation method and ultrasound-guided ablation system
US10610302B2 (en) * 2016-09-20 2020-04-07 Siemens Healthcare Gmbh Liver disease assessment in medical imaging
US10489908B2 (en) * 2017-02-22 2019-11-26 Siemens Healthcare Gmbh Deep convolutional encoder-decoder for prostate cancer detection and classification
EP3441936B1 (de) * 2017-08-11 2021-04-21 Siemens Healthcare GmbH Verfahren zur auswertung von bilddaten eines patienten nach einem minimalinvasiven eingriff, auswerteeinrichtung, computerprogramm und elektronisch lesbarer datenträger
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
CN109859833B (zh) * 2018-12-28 2023-12-22 北京理工大学 消融手术治疗效果的评估方法和装置
CN110782474B (zh) * 2019-11-04 2022-11-15 中国人民解放军总医院 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107049475A (zh) * 2017-04-19 2017-08-18 纪建松 肝癌局部消融方法及系统
CN110175958A (zh) * 2019-04-24 2019-08-27 艾瑞迈迪科技石家庄有限公司 一种基于医学影像的消融结果分析方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
肝肿瘤热消融治疗计算机辅助导航系统关键技术研究;吴薇薇;《中国优秀博士学位论文全文数据库医药卫生科技辑》;20181115;全文 *
肿瘤微波热消融疗效评估及手术计划基础研究;乔雪梅;《中国优秀硕士学位论文全文数据库信息科技辑》;20180315;全文 *

Also Published As

Publication number Publication date
EP3913576A4 (en) 2022-11-09
US20230123842A1 (en) 2023-04-20
US11776120B2 (en) 2023-10-03
CN110782474A (zh) 2020-02-11
WO2021088747A1 (zh) 2021-05-14
EP3913576A1 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
CN110782474B (zh) 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法
Dalmış et al. Using deep learning to segment breast and fibroglandular tissue in MRI volumes
Jin et al. 3D PBV-Net: an automated prostate MRI data segmentation method
US11593943B2 (en) RECIST assessment of tumour progression
Zhang et al. Brain tumor segmentation based on hybrid clustering and morphological operations
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
Izadi et al. Generative adversarial networks to segment skin lesions
CN111105424A (zh) 淋巴结自动勾画方法及装置
Chen et al. Pathological lung segmentation in chest CT images based on improved random walker
CN109325971B (zh) 图像配准方法及装置
Nguyen et al. Unsupervised region-based anomaly detection in brain MRI with adversarial image inpainting
CN111383259B (zh) 图像分析方法、计算机设备和存储介质
Wu et al. Ultrasound image segmentation method for thyroid nodules using ASPP fusion features
Ni et al. Segmentation of ultrasound image sequences by combing a novel deep siamese network with a deformable contour model
CN111815610B (zh) 一种病变图像的病灶检测方法及装置
Liu et al. Left atrium segmentation in CT volumes with fully convolutional networks
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN114332132A (zh) 图像分割方法、装置和计算机设备
Cai et al. Accurate weakly supervised deep lesion segmentation on CT scans: Self-paced 3D mask generation from RECIST
Mohagheghi et al. Incorporating prior shape knowledge via data-driven loss model to improve 3D liver segmentation in deep CNNs
Zhang et al. Segmentation of brain tumor MRI image based on improved attention module Unet network
Cho et al. Affinity graph based end-to-end deep convolutional networks for ct hemorrhage segmentation
CN112990367A (zh) 一种图像处理方法、装置、设备以及存储介质
CN116128895A (zh) 医学图像分割方法、装置和计算机可读存储介质
Korez et al. Segmentation of pathological spines in CT images using a two-way CNN and a collision-based model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant