CN114881914A - 基于医学影像确定三维功能肝段的系统及方法 - Google Patents

基于医学影像确定三维功能肝段的系统及方法 Download PDF

Info

Publication number
CN114881914A
CN114881914A CN202210127853.6A CN202210127853A CN114881914A CN 114881914 A CN114881914 A CN 114881914A CN 202210127853 A CN202210127853 A CN 202210127853A CN 114881914 A CN114881914 A CN 114881914A
Authority
CN
China
Prior art keywords
image
functional
dimensional
module
liver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210127853.6A
Other languages
English (en)
Inventor
仇清涛
段敬豪
李腾翔
尹勇
陈进琥
王兴莉
孙涛
吴仕章
巩贯忠
朱健
刘同海
佟颖
丁佳琳
尹菡菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANDONG TUMOR HOSPITAL
Original Assignee
SHANDONG TUMOR HOSPITAL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANDONG TUMOR HOSPITAL filed Critical SHANDONG TUMOR HOSPITAL
Priority to CN202210127853.6A priority Critical patent/CN114881914A/zh
Publication of CN114881914A publication Critical patent/CN114881914A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

基于医学影像确定三维功能肝段的系统,包括图像输入模块、图像分类模块、功能影像分辨率增强模块、解剖影像肝段自动分割模块、三维功能肝段获取模块和结果输出模块。功能影响分辨率增强模块对功能影像进行分辨率增强处理,获得高分辨率的增强功能影像,解剖影像肝段自动分割模块对解剖影像进行肝段自动分割,获得精细化的三维肝段解剖影像。通过功能影像和解剖影像图像输入、对输入的影像进行图像分类、分别对功能影像进行分辨率增强处理和对解剖影像进行三维精细化处理、配准融合获取三维功能肝段,并将图像结果输出导入至放疗计划设计系统进行放疗剂量计算。本发明能够实现三维功能肝段判断,并用于放疗,提高了分割精度,降低了患者治疗成本。

Description

基于医学影像确定三维功能肝段的系统及方法
技术领域
本发明涉及计算机视觉医学图像处理领域,特别是一种基于医学影像确 定三维功能肝段的系统及方法。
背景技术
原发性肝癌(hepatocellular carcinoma,HCC)是我国高发恶性肿瘤, 预后差、生存期短。放疗在HCC治疗中发挥了重要作用,然而放疗容易引起 放射性肝脏损伤(radiation-induced liver injury,RILI),且放疗与照射 剂量存在着显著的相关性,RILI是提升肿瘤靶区剂量、提高肿瘤局控率的重 要限制因素。
由于肝段之间没有明显的分隔(如隔膜等)界限,在医学影像中也不可 见,因而难以对肝段进行精确的划分,目前肝段的划分主要是基于计算机断 层成像(computedtomography,CT)手动完成,具体是根据门静脉期增强 CT中门静脉的走行、分叉等多个特征人工确定分割节点。人工手动分割的方 法常被用来作为金标准,其需要丰富的经验才能完成肝段的正确分割,而经 验、主观差异的存在导致了划分结果差异较大,且肝脏体积较大,手动分割 过程往往耗时耗力,且效率不高。
在肝脏功能评估中,目前常用方法是血液化学检测、肝功能成像等。肝 功能血液化学检测能够有效评估肝脏代谢、免疫、合成等功能情况,但存在 不能提供肝脏功能的空间分布信息的局限性。肝功能成像虽然能够清晰地显 示肝功能在肝脏中的分布情况和实现肝脏功能定量评估,但其仍存在无法提 供解剖信息,不能提供肝功能分布的精准位置信息的问题,且由于肝功能影 像的分辨率较低,很难和其他解剖影像进行融合。虽然现有的肝段划分方法 能够得到肝段分割结果,然而其结果无法直接应用于放射治疗,且分割结果仅依靠分割网络结果的训练参数获取,无后续进一步自动修正和考虑肝段本 身在人群中的多样性结果,很难适用于所有的肝脏影像、适用范围较窄。
发明内容
本发明的目的是克服现有技术的上述不足而提供一种基于医学影像确定 三维功能肝段的系统及方法,通过使得功能影像的分辨率增强实现精准识别 不同的肝功能区域;利用解剖影像实现快速自动精确划分肝段解剖结构,然 后采用配准技术对不同肝功能区域和肝段解剖结构进行快速准确融合获取功 能肝段,实现在三维结构上评估肝段功能储备的情况,并实现输出为标准医 学影像断层图像用于放射治疗。
本发明的技术方案是:基于医学影像确定三维功能肝段的系统,包括图 像输入模块、图像分类模块、功能影像分辨率增强模块、解剖影像肝段自动 分割模块、三维功能肝段获取模块和结果输出模块。
所述图像输入模块用于输入肝段分割所需的功能影像和解剖影像,所输 入影像均为断层影像。
所述图像分类模块用于针对每一输入的图像切片的头文件信息判断输入 其是功能影像还是解剖影像。
所述功能影响分辨率增强模块用于对功能影像进行分辨率增强处理,获 得高分辨率的增强功能影像,采用无监督深度递归卷积神经网络对输入的功 能影像数据进行处理,输出初步的影像结果,判断影像结果是否符合要求, 如不符合要求则调整网络参数并再次输入到无监督深度递归卷积神经网络网 络中,如此反复迭代多次,直至获取符合要求的高分辨率增强功能影像。
所述解剖影像肝段自动分割模块用于对解剖影像进行肝段自动分割,获 得精细化的三维肝段解剖影像,采用多任务深度学习神经网络实现解剖影像 的肝段自动分割,首先基于预训练的模型获得初步肝段分割结果,然后基于 血管树追踪网络精细化肝段分割结果并修正误差,输出初步的影像结果,判 断影像结果是否符合要求,如不符合要求则手动调整分割结果,如此反复迭 代多次,直至获得精细化的三维肝段解剖影像。
所述三维功能肝段获取模块用于对高分辨率增强功能影像和精细化的三 维肝段解剖影像进行配准,获得精确的三维功能肝段影像,采用全局刚性、 局部形变的方法,结合高分辨率增强功能影像和三维肝段解剖影像,将二者 进行配准融合与空间位置映射,输出可视化的初步配准影像结果,判配准影 像结果是否符合要求,如不符合要求,则通过调节配准参数和手动调整配准 结果以获取精确的三维功能肝段结果,如此反复迭代多次,直至获取精确的 三维功能肝段影像。
所述结果输出模块用于将精确的三维功能肝段影像输出为DICOM断层影 像,并导入至放疗计划设计系统进行放疗剂量计算。
所述图像输入模块的输出与图像分类模块的输入模块连接,图像分类模 块的输出分别于与功能影响分辨率增强模块和解剖影像肝段自动分割模块的 输入连接,功能影响分辨率增强模块和解剖影像肝段自动分割模块的输出均 与三维功能肝段获取模块的输入连接,三维功能肝段获取模块的输出与结果 输出模块的输入连接。
本发明进一步的技术方案是:所述功能影像模态为SPECT和MRI,解剖 影像模态为CT,功能影像和解剖影像的格式均符合DICOM3.0标准。
本发明的另一技术方案是:基于医学影像确定三维功能肝段的方法,具 体包括如下步骤:
步骤一、功能影像和解剖影像图像输入:分别输入肝段分割所需的功能 影像和解剖影像,将其放置在同一路径下。
步骤二、对输入的影像进行图像分类:读取输入的影像的头文件信息的 数据,将输入的图像分为功能影像或解剖影像,并分别对功能影像和解剖影 像进行存储。
步骤三、分别对功能影像进行分辨率增强处理和对解剖影像进行三维精 细化处理。
步骤四、将增强处理后的分辨率功能影像与精细化后的解剖影像进行配 准融合获取三维功能肝段。
步骤五、放疗计划图像结果输出:将符合要求的精确三维功能肝段影像 输出为DICOM断层影像,并导入至放疗计划设计系统进行放疗剂量计算。
本发明进一步的技术方案是:所述对功能影像进行分辨率增强处理,采 用基于无监督深度递归卷积神经网络DRCNN,具体包括:
步骤3.11:将功能影像输入到基于无监督深度递归卷积神经网络DRCNN, 对功能影像进行预增强处理,处理后的功能影像进行递归运算,每个递归模 块Enhance Hx均使用不相似度测度对增强结果进行递归监督,通过度量像素 的不相似度调整图像网格的分辨率增强结果。
步骤3.12:输入的功能影像和不同增强模块Enhance Hx均通过跳转连 接方式与重建模块网络进行连接。
步骤3.13:所有增强模块在重建模块网络下输出并通过各自的权重进行 相加,输出最终增强处理后的分辨率功能影像。
本发明再进一步的技术方案是:所述预增强处理包括图像直方图均衡化 和像素值归一化处理。
本发明更进一步的技术方案是:所述对解剖影像进行三维精细化处理, 采用多任务深度学习神经网络MDLNN方法,具体包括:
步骤3.21:训练数据准备,选用门静脉期增强CT用于MLDNN训练,依 据门静脉的走向、形状和分布,按照Glisson系统和肝静脉系统对肝段进行 手工标注,所有的标注结果均保存符合DICOM-RT标准的数据格式,由MLDNN 直接读取。
步骤3.22:MLDNN读取训练数据,迭代卷积标注肝段结构信息,设置多 任务深度学习神经网络MDLNN的训练参数。
MLDNN的骨干架构采用3D-Unet网络,上采样路径由5个卷积块组成, 其中上采样采用三线性插值,卷积块之间进行3×3×3卷积;下采样路径由 5个卷积块组成,其中5个卷积块每一个都包含两个连续的3×3×3卷积运 算,步幅为1,批处理归一化层和一个校正后的线性单元作为激活函数,在 每一个下采样块后,对卷积块之间进行步长为2的3×3×3卷积运算,对矩 阵分辨率进行下采样,以保证信息不丢失并降低计算成本;
将下采样路径中的特征与上采样路径中的特征连接起来,在不进行下采 样信息抽象的情况下提供附加信息;
3D-Unet网络的损失函数为Dice损失函数如下:
Figure BDA0003501265330000061
其中,l(fi(x,Θ),y)为第j个样本进行第i次迭代训练的损失函数,fi(x,Θ) 为学习参数Θ的学习函数,y为对应的肝段标记结果,n为样本大小,Di为深 度学习网络第i层;
在训练中加入肝段形状先验信息,确保肝段形状连续且无过大或过小肝 段产生;加入区域竞争因子,通过罚分机制确保训练过程中重叠区域正确分 割;
加入肝段形状先验和区域竞争因子后,使用改进的GradNorm进行自动任 务平衡,以降低计算成本,其中损失函数的权重采用动态调整,如下:
Figure BDA0003501265330000062
其中,wi(t)为计算成本,|·|1为L1正则化,α为超参数,
Figure BDA0003501265330000063
为第i次迭 代后的梯度,
Figure BDA0003501265330000064
为平均归一化梯度,ri(t)为第i次迭代中第t次任务的 复杂度,Lgrad为梯度函数。
步骤3.23:根据专家标注结果和门静脉分叉点实时修正网络训练参数, 使用形态骨架算法检测门静脉一二级分支形状走行,以门静脉起点为远点构 建三维空间坐标结构并检测门静脉的分叉点记录坐标,以此作为修正肝段分 割神经网络的基础,确定分割的重点,并加入形状先验信息和区域竞争因子。
步骤3.24:将解剖影像输入到参数训练完成的MLDNN网络中,运行MLDNN 网络,得到肝段二维分割结果。
步骤3.25:使用VITK插件将三维肝段分割结果可视化,检查分割结果 得到精细化后的解剖影像。
本发明更进一步的技术方案是:采用含碘造影剂为造影剂,CT层厚不超 过5mm。
本发明更进一步的技术方案是:所述获取三维功能肝段,具体包括:
步骤4.1:采用非均匀强度变换对功能影像进行处理,提高功能影像肝 脏边缘低像素强度,得到强度变换后的图像G。
步骤4.2:将门静脉期解剖影像和图像G进行三维二值化,同时保留三 维空间位置坐标。
步骤4.3:对二值化的图像采用主成分分析计算其初始旋转和平移参数 使刚性配准的初始化达到最优,然后将初始旋转和平移参数、门静脉期解剖 影像和图像G输入到三维全局刚性配准算法中进行计算。
步骤4.4:将全局刚性配准结果输入到局部形变配准算法中,局部形变 算法采用三次b样条自由形变算法,计算局部精细形变结果。
步骤4.5:导出图像G的图像形变场,并依此计算不同肝功能区轮廓的 形变得到图像G形变后的轮廓GC。
步骤4.6:将轮廓GC融合到门静脉期解剖影像及其肝段分割结果中,得 到三维功能肝段的结果。
步骤4.7:将三维功能肝段的结果可视化,检查结果,并通过手动调整 配准参数和调整结果得到符合要求的最终结果。
本发明与现有技术相比具有如下特点:
1、本发明分别采用医学功能影像进行图像分辨率增强和采用解剖影像进 行肝段自动分割,且将增强、分割的图像进行配准,提高了放射治疗中三维 功能肝段自动获取的准确性。
2、本发明的功能影像分辨率增强模块、解剖影像肝段自动分割模块能够 单独运行并输出结果,该结果能够用于诊断和外科手术等其它领域,拓宽了 应用的领域。
3、本发明的结果输出能够直接导入至放疗计划设计系统,为基于肝段功 能单元保护进行HCC个体化放疗方案的制定和选择提供参考,降低HCC患 者的放疗毒性、提高安全性;
4、本发明能够精确获取三维功能肝段,为减少HCC患者放疗时正常肝 脏的的放射剂量、保证肝脏功能完整性提供参考,通过增加单次治疗的放疗 剂量,降低总治疗次数,可为患者降低治疗费用。
以下结合附图和具体实施方式对本发明的详细结构作进一步描述。
附图说明
图1为本发明系统的结构示意图;
图2为本发明方法的流程图;
图3为本发明方法中无监督深度递归卷积神经网络的结构图;
图4为本发明方法中基于3D-Unet网络的MLDNN的结构图。
具体实施方式
实施例,如图1所示,基于医学影像确定三维功能肝段的系统,包括图 像输入模块、图像分类模块、功能影像分辨率增强模块、解剖影像肝段自动 分割模块、三维功能肝段获取模块和结果输出模块。
所述图像输入模块用于输入肝段分割所需的功能影像和解剖影像,功能 影像模态为SPECT和MRI,解剖影像模态为CT,所输入影像均为断层影像, 功能影像和解剖影像的格式均符合DICOM3.0标准,即digital imaging and communications in medicine。
所述图像分类模块用于针对每一输入的图像切片的头文件信息判断输入 其是功能影像还是解剖影像。
所述功能影响分辨率增强模块用于对功能影像进行分辨率增强处理,获 得高分辨率的增强功能影像。具体采用无监督深度递归卷积神经网络 (Deeply-RecursiveConvolutional Neural Network,DRCNN)对输入的功 能影像数据进行处理,输出初步的影像结果,判断影像结果是否符合要求, 如不符合要求则调整网络参数并再次输入到无监督深度递归卷积神经网络网 络中,如此反复迭代多次,直至获取符合要求的高分辨率增强功能影像。
所述解剖影像肝段自动分割模块用于对解剖影像进行肝段自动分割,获 得精细化的三维肝段解剖影像。具体为采用多任务深度学习神经网络 (multitask deeplearning neural network,MDLNN)实现解剖影像的肝段 自动分割,首先基于预训练的模型获得初步肝段分割结果,然后基于血管树 追踪网络精细化肝段分割结果并修正误差,输出初步的影像结果,判断影像 结果是否符合要求,如不符合要求则手动调整分割结果,如此反复迭代多次, 直至获得精细化的三维肝段解剖影像。
所述三维功能肝段获取模块用于对高分辨率增强功能影像和精细化的三 维肝段解剖影像进行配准,获得精确的三维功能肝段影像。具体为采用全局 刚性、局部形变的方法,结合高分辨率增强功能影像和三维肝段解剖影像, 将二者进行配准融合与空间位置映射,输出可视化的初步配准影像结果,判 配准影像结果是否符合要求,如不符合要求,则通过调节配准参数和手动调 整配准结果以获取精确的三维功能肝段结果,如此反复迭代多次,直至获取 精确的三维功能肝段影像。
所述结果输出模块用于将精确的三维功能肝段影像输出为DICOM断层影 像,并导入至放疗计划设计系统进行放疗剂量计算。
所述图像输入模块的输出与图像分类模块的输入模块连接,图像分类模 块的输出分别于与功能影响分辨率增强模块和解剖影像肝段自动分割模块的 输入连接,功能影响分辨率增强模块和解剖影像肝段自动分割模块的输出均 与三维功能肝段获取模块的输入连接,三维功能肝段获取模块的输出与结果 输出模块的输入连接。
基于医学影像确定三维功能肝段的方法,如图2-4所示,具体包括如下 步骤:
步骤一、功能影像和解剖影像图像输入:分别输入肝段分割所需的功能 影像和解剖影像,将其放置在同一路径下。
步骤二、对输入的影像进行图像分类:读取输入的影像的头文件信息中 Tag ID为(0008,0060)的数据,将输入的图像分为功能影像或解剖影像,并 分别对功能影像和解剖影像进行存储。
步骤三、分别对功能影像进行分辨率增强处理和对解剖影像进行三维精 细化处理。
所述对功能影像进行分辨率增强处理,采用基于无监督深度递归卷积神 经网络DRCNN,具体包括:
步骤3.11:将功能影像输入到基于无监督深度递归卷积神经网络DRCNN, 对功能影像进行预增强处理,包括图像直方图均衡化和像素值归一化处理, 处理后的功能影像进行递归运算,每个递归模块Enhance Hx均使用不相似度 测度对增强结果进行递归监督,通过度量像素的不相似度调整图像网格的分 辨率增强结果。
步骤3.12:输入的功能影像和不同增强模块Enhance Hx均通过跳转连 接方式与重建模块网络进行连接,实现各个模块之间的信息互联,保证信息 不丢失。
步骤3.13:所有增强模块在重建模块网络下输出并通过各自的权重进行 相加,输出最终增强处理后的分辨率功能影像。同时采用无标记训练模式训 练网络,得到通过训练的神经网络放大原始图像SPECT和MRI的分辨率为 128x128或256x256的2倍甚至4倍,即最终重建分辨率结果为512x512。
所述对解剖影像进行三维精细化处理,采用多任务深度学习神经网络 MDLNN方法,具体包括:
步骤3.21:训练数据准备,采集临床上多期增强扫描的腹部CT图像, 采用含碘造影剂为造影剂,CT层厚不超过5mm,选用门静脉期增强CT用于 MLDNN训练,依据门静脉的走向、形状和分布,按照Glisson系统和肝静脉 系统对肝段进行手工标注,所有的标注结果均保存符合DICOM-RT标准的数据 格式,由MLDNN直接读取。
步骤3.22:MLDNN读取训练数据,迭代卷积标注肝段结构信息,设置多 任务深度学习神经网络MDLNN的训练参数,包括学习率、批处理大小、核函 数大小及类型,其网络结构图如图4所示。
MLDNN的骨干架构采用3D-Unet网络,上采样路径由5个卷积块组成, 其中上采样采用三线性插值,卷积块之间进行3×3×3卷积;下采样路径由 5个卷积块组成,其中5个卷积块每一个都包含两个连续的3×3×3卷积运 算,步幅为1,批处理归一化层和一个校正后的线性单元作为激活函数,在 每一个下采样块后,对卷积块之间进行步长为2的3×3×3卷积运算,对矩 阵分辨率进行下采样,以保证信息不丢失并降低计算成本。
将下采样路径中的特征与上采样路径中的特征连接起来,在不进行下采 样信息抽象的情况下提供附加信息。
3D-Unet网络的损失函数为Dice损失函数如下:
Figure BDA0003501265330000121
其中,l(fi(x,Θ),y)为为第j个样本进行第i次迭代训练的损失函数, fi(x,Θ)为学习参数Θ的学习函数,y为对应的肝段标记结果,n为样本大小, Di为深度学习网络第i层。
在训练中加入肝段形状先验信息,确保肝段形状连续且无过大或过小肝 段产生;加入区域竞争因子,通过罚分机制确保训练过程中重叠区域正确分 割。
加入肝段形状先验和区域竞争因子后,使用改进的GradNorm进行自动任 务平衡,以降低计算成本,其中损失函数的权重采用动态调整,如下:
Figure BDA0003501265330000122
其中,wi(t)为计算成本,|·|1为L1正则化,α为超参数,
Figure BDA0003501265330000123
为第i次迭 代后的梯度,
Figure BDA0003501265330000131
为平均归一化梯度,ri(t)为第i次迭代中第t次任务的复 杂度,Lgrad为梯度函数。
步骤3.23:根据专家标注结果和门静脉分叉点实时修正网络训练参数, 使用形态骨架算法检测门静脉一二级分支形状走行,以门静脉起点为远点构 建三维空间坐标结构并检测门静脉的分叉点记录坐标,以此作为修正肝段分 割神经网络的基础,确定分割的重点,并加入形状先验信息和区域竞争因子。
步骤3.24:将解剖影像输入到参数训练完成的MLDNN网络中,运行MLDNN 网络,得到肝段二维分割结果。
步骤3.25:使用VITK插件将三维肝段分割结果可视化,检查分 割结果得到精细化后的解剖影像。
步骤四、将增强处理后的分辨率功能影像与精细化后的解剖影像进行配 准融合获取三维功能肝段,由于CT图像提供的信息多于SPECT和MRI图 像,因此在系统中选择门静脉期CT图像作为配准的固定图像,具体包括:
步骤4.1:采用非均匀强度变换对SPECT和MRI图像进行处理,提高 SPECT和MRI中肝脏边缘低像素强度,得到强度变换后的图像G。
步骤4.2:将门静脉期CT图像和图像G进行三维二值化,同时保留三 维空间位置坐标。
步骤4.3:对二值化的图像采用主成分分析计算其初始旋转和平移参数 使刚性配准的初始化达到最优,然后将初始旋转和平移参数、门静脉期CT 和图像G输入到三维全局刚性配准算法中进行计算。
步骤4.4:将全局刚性配准结果输入到局部形变配准算法中,局部形变 算法采用三次b样条自由形变算法,计算局部精细形变结果。
步骤4.5:导出图像G的图像形变场,并依此计算不同肝功能区轮廓的 形变得到图像G形变后的轮廓GC。
步骤4.6:将轮廓GC融合到门静脉期CT图像及其肝段分割结果中,得 到三维功能肝段的结果。
步骤4.7:将三维功能肝段的结果可视化,检查结果,并通过手动调整 配准参数和调整结果得到符合要求的最终结果。
通过上述使用全局刚性、局部形变的方法,结合高分辨率增强功能影像 和肝段三维分割结果,将二者进行多模态图像三维配准融合并进行空间位置 映射,输出三维功能肝段初步可视化结果并检查,如不能符合要求,则手动 调整配准参数和调整配准结果以获取精确的三维功能肝段结果,此过程可以 往返迭代多次,直至获取符合要求的三维功能肝段影像。
步骤五、放疗计划图像结果输出:将符合要求的精确三维功能肝段影像 输出为DICOM断层影像,并导入至放疗计划设计系统进行放疗剂量计算。
通过将放疗计划图像结果输出直接导入至放疗计划设计系统,使得在进 行放疗过程中为了对肝段功能单元保护进行HCC个体化放疗方案的制定和 选择提供参考,从而能够有效降低HCC患者的放疗毒性、提高放疗的准确 性和安全性;并通过对单次治疗的放疗剂量进行精确的控制,有效地降低总 治疗次数,临床上能够为患者降低治疗费用约30%以上。

Claims (8)

1.基于医学影像确定三维功能肝段的系统,其特征是,包括图像输入模块、图像分类模块、功能影像分辨率增强模块、解剖影像肝段自动分割模块、三维功能肝段获取模块和结果输出模块;
所述图像输入模块用于输入肝段分割所需的功能影像和解剖影像,所输入影像均为断层影像;
所述图像分类模块用于针对每一输入的图像切片的头文件信息判断输入其是功能影像还是解剖影像;
所述功能影响分辨率增强模块用于对功能影像进行分辨率增强处理,获得高分辨率的增强功能影像,采用无监督深度递归卷积神经网络对输入的功能影像数据进行处理,输出初步的影像结果,判断影像结果是否符合要求,如不符合要求则调整网络参数并再次输入到无监督深度递归卷积神经网络网络中,如此反复迭代多次,直至获取符合要求的高分辨率增强功能影像;
所述解剖影像肝段自动分割模块用于对解剖影像进行肝段自动分割,获得精细化的三维肝段解剖影像,采用多任务深度学习神经网络实现解剖影像的肝段自动分割,首先基于预训练的模型获得初步肝段分割结果,然后基于血管树追踪网络精细化肝段分割结果并修正误差,输出初步的影像结果,判断影像结果是否符合要求,如不符合要求则手动调整分割结果,如此反复迭代多次,直至获得精细化的三维肝段解剖影像;
所述三维功能肝段获取模块用于对高分辨率增强功能影像和精细化的三维肝段解剖影像进行配准,获得精确的三维功能肝段影像,采用全局刚性、局部形变的方法,结合高分辨率增强功能影像和三维肝段解剖影像,将二者进行配准融合与空间位置映射,输出可视化的初步配准影像结果,判配准影像结果是否符合要求,如不符合要求,则通过调节配准参数和手动调整配准结果以获取精确的三维功能肝段结果,如此反复迭代多次,直至获取精确的三维功能肝段影像;
所述结果输出模块用于将精确的三维功能肝段影像输出为DICOM断层影像,并导入至放疗计划设计系统进行放疗剂量计算;
所述图像输入模块的输出与图像分类模块的输入模块连接,图像分类模块的输出分别于与功能影响分辨率增强模块和解剖影像肝段自动分割模块的输入连接,功能影响分辨率增强模块和解剖影像肝段自动分割模块的输出均与三维功能肝段获取模块的输入连接,三维功能肝段获取模块的输出与结果输出模块的输入连接。
2.如权利要求1所述的基于医学影像确定三维功能肝段的系统,其特征是:所述功能影像模态为SPECT和MRI,解剖影像模态为CT,功能影像和解剖影像的格式均符合DICOM3.0标准。
3.基于医学影像确定三维功能肝段的方法,其特征是,具体包括如下步骤:
步骤一、功能影像和解剖影像图像输入:分别输入肝段分割所需的功能影像和解剖影像,将其放置在同一路径下;
步骤二、对输入的影像进行图像分类:读取输入的影像的头文件信息的数据,将输入的图像分为功能影像或解剖影像,并分别对功能影像和解剖影像进行存储;
步骤三、分别对功能影像进行分辨率增强处理和对解剖影像进行三维精细化处理;
步骤四、将增强处理后的分辨率功能影像与精细化后的解剖影像进行配准融合获取三维功能肝段;
步骤五、放疗计划图像结果输出:将符合要求的精确三维功能肝段影像输出为DICOM断层影像,并导入至放疗计划设计系统进行放疗剂量计算。
4.如权利要求3所述的基于医学影像确定三维功能肝段的方法,其特征是,所述对功能影像进行分辨率增强处理,采用基于无监督深度递归卷积神经网络DRCNN,具体包括:
步骤3.11:将功能影像输入到基于无监督深度递归卷积神经网络DRCNN,对功能影像进行预增强处理,处理后的功能影像进行递归运算,每个递归模块Enhance Hx均使用不相似度测度对增强结果进行递归监督,通过度量像素的不相似度调整图像网格的分辨率增强结果;
步骤3.12:输入的功能影像和不同增强模块Enhance Hx均通过跳转连接方式与重建模块网络进行连接;
步骤3.13:所有增强模块在重建模块网络下输出并通过各自的权重进行相加,输出最终增强处理后的分辨率功能影像。
5.如权利要求4所述的基于医学影像确定三维功能肝段的方法,其特征是,所述预增强处理包括图像直方图均衡化和像素值归一化处理。
6.如权利要求3或4所述的基于医学影像确定三维功能肝段的方法,其特征是,所述对解剖影像进行三维精细化处理,采用多任务深度学习神经网络MDLNN方法,具体包括:
步骤3.21:训练数据准备,选用门静脉期增强CT用于MLDNN训练,依据门静脉的走向、形状和分布,按照Glisson系统和肝静脉系统对肝段进行手工标注,所有的标注结果均保存符合DICOM-RT标准的数据格式,由MLDNN直接读取;
步骤3.22:MLDNN读取训练数据,迭代卷积标注肝段结构信息,设置多任务深度学习神经网络MDLNN的训练参数;
MLDNN的骨干架构采用3D-Unet网络,上采样路径由5个卷积块组成,其中上采样采用三线性插值,卷积块之间进行3×3×3卷积;下采样路径由5个卷积块组成,其中5个卷积块每一个都包含两个连续的3×3×3卷积运算,步幅为1,批处理归一化层和一个校正后的线性单元作为激活函数,在每一个下采样块后,对卷积块之间进行步长为2的3×3×3卷积运算,对矩阵分辨率进行下采样,以保证信息不丢失并降低计算成本;
将下采样路径中的特征与上采样路径中的特征连接起来,在不进行下采样信息抽象的情况下提供附加信息;
3D-Unet网络的损失函数为Dice损失函数如下:
Figure FDA0003501265320000041
其中,l(fi(x,Θ),y)为第j个样本进行第i次迭代训练的损失函数,fi(x,Θ)为学习参数Θ的学习函数,y为对应的肝段标记结果,n为样本大小,Di为深度学习网络第i层;
在训练中加入肝段形状先验信息,确保肝段形状连续且无过大或过小肝段产生;加入区域竞争因子,通过罚分机制确保训练过程中重叠区域正确分割;
加入肝段形状先验和区域竞争因子后,使用改进的GradNorm进行自动任务平衡,以降低计算成本,其中损失函数的权重采用动态调整,如下:
Figure FDA0003501265320000051
其中,wi(t)为计算成本,|·|1为L1正则化,α为超参数,
Figure FDA0003501265320000052
为第i次迭代后的梯度,
Figure FDA0003501265320000053
为平均归一化梯度,ri(t)为第i次迭代中第t次任务的复杂度,Lgrad为梯度函数;
步骤3.23:根据专家标注结果和门静脉分叉点实时修正网络训练参数,使用形态骨架算法检测门静脉一二级分支形状走行,以门静脉起点为远点构建三维空间坐标结构并检测门静脉的分叉点记录坐标,以此作为修正肝段分割神经网络的基础,确定分割的重点,并加入形状先验信息和区域竞争因子;
步骤3.24:将解剖影像输入到参数训练完成的MLDNN网络中,运行MLDNN网络,得到肝段二维分割结果;
步骤3.25:使用VITK插件将三维肝段分割结果可视化,检查分割结果得到精细化后的解剖影像。
7.如权利要求6所述的基于医学影像确定三维功能肝段的方法,其特征是,采用含碘造影剂为造影剂,CT层厚不超过5mm。
8.如权利要求3或4所述的基于医学影像确定三维功能肝段的方法,其特征是,所述获取三维功能肝段,具体包括:
步骤4.1:采用非均匀强度变换对功能影像进行处理,提高功能影像肝脏边缘低像素强度,得到强度变换后的图像G;
步骤4.2:将门静脉期解剖影像和图像G进行三维二值化,同时保留三维空间位置坐标;
步骤4.3:对二值化的图像采用主成分分析计算其初始旋转和平移参数使刚性配准的初始化达到最优,然后将初始旋转和平移参数、门静脉期解剖影像和图像G输入到三维全局刚性配准算法中进行计算;
步骤4.4:将全局刚性配准结果输入到局部形变配准算法中,局部形变算法采用三次b样条自由形变算法,计算局部精细形变结果;
步骤4.5:导出图像G的图像形变场,并依此计算不同肝功能区轮廓的形变得到图像G形变后的轮廓GC;
步骤4.6:将轮廓GC融合到门静脉期解剖影像及其肝段分割结果中,得到三维功能肝段的结果;
步骤4.7:将三维功能肝段的结果可视化,检查结果,并通过手动调整配准参数和调整结果得到符合要求的最终结果。
CN202210127853.6A 2022-02-11 2022-02-11 基于医学影像确定三维功能肝段的系统及方法 Pending CN114881914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210127853.6A CN114881914A (zh) 2022-02-11 2022-02-11 基于医学影像确定三维功能肝段的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210127853.6A CN114881914A (zh) 2022-02-11 2022-02-11 基于医学影像确定三维功能肝段的系统及方法

Publications (1)

Publication Number Publication Date
CN114881914A true CN114881914A (zh) 2022-08-09

Family

ID=82667383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210127853.6A Pending CN114881914A (zh) 2022-02-11 2022-02-11 基于医学影像确定三维功能肝段的系统及方法

Country Status (1)

Country Link
CN (1) CN114881914A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393527A (zh) * 2022-09-14 2022-11-25 北京富益辰医疗科技有限公司 基于多模影像与交互设备的解剖导航构建方法及装置
CN115810139A (zh) * 2022-12-16 2023-03-17 西北民族大学 一种spect图像的目标区域识别方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393527A (zh) * 2022-09-14 2022-11-25 北京富益辰医疗科技有限公司 基于多模影像与交互设备的解剖导航构建方法及装置
CN115810139A (zh) * 2022-12-16 2023-03-17 西北民族大学 一种spect图像的目标区域识别方法及系统
CN115810139B (zh) * 2022-12-16 2023-09-01 西北民族大学 一种spect图像的目标区域识别方法及系统

Similar Documents

Publication Publication Date Title
Torosdagli et al. Deep geodesic learning for segmentation and anatomical landmarking
US11937962B2 (en) Systems and methods for automated and interactive analysis of bone scan images for detection of metastases
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
US7876938B2 (en) System and method for whole body landmark detection, segmentation and change quantification in digital images
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
CN114503159A (zh) 通过对象检测定位的医学图像的三维对象分割
CN113240719A (zh) 用于表征医学图像中的解剖特征的方法和系统
CN109753866A (zh) 机器学习中具有密集特征金字塔网络架构的医学图像对象检测
CN112001925A (zh) 图像的分割方法、放射治疗系统、计算机设备和存储介质
CN107545584A (zh) 医学图像中定位感兴趣区域的方法、装置及其系统
CN114881914A (zh) 基于医学影像确定三维功能肝段的系统及方法
CN115830016B (zh) 医学图像配准模型训练方法及设备
Hong et al. Automatic lung nodule matching on sequential CT images
CN113223028A (zh) 一种基于mr和ct的多模态肝脏肿瘤分割方法
Parker et al. Graph-based Mumford-Shah segmentation of dynamic PET with application to input function estimation
CN112561877A (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
CN115908449A (zh) 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置
CN116612174A (zh) 软组织的三维重建方法、系统及计算机存储介质
Honghan et al. Rms-se-unet: A segmentation method for tumors in breast ultrasound images
CN116758087B (zh) 一种腰椎ct骨窗侧隐窝间隙检测方法及装置
Ropinski et al. Multimodal vessel visualization of mouse aorta PET/CT scans
US20080285822A1 (en) Automated Stool Removal Method For Medical Imaging
CN113361689A (zh) 超分辨率重建网络模型的训练方法和扫描图像处理方法
Xiao et al. PET and CT image fusion of lung cancer with siamese pyramid fusion network
US20240169544A1 (en) Methods and systems for biomedical image segmentation based on a combination of arterial and portal image information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination