CN113470086B - 肺部呼吸双相ct影像的配准方法及其系统和存储介质 - Google Patents

肺部呼吸双相ct影像的配准方法及其系统和存储介质 Download PDF

Info

Publication number
CN113470086B
CN113470086B CN202110583838.8A CN202110583838A CN113470086B CN 113470086 B CN113470086 B CN 113470086B CN 202110583838 A CN202110583838 A CN 202110583838A CN 113470086 B CN113470086 B CN 113470086B
Authority
CN
China
Prior art keywords
loss
registration
bronchus
deformation field
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110583838.8A
Other languages
English (en)
Other versions
CN113470086A (zh
Inventor
梁振宇
许家璇
陈荣昌
王凤燕
郑劲平
简文华
张冬莹
李洽胜
唐国燕
陈德彦
章强
梁翠霞
吕晓凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Guangzhou Medical University
Original Assignee
First Affiliated Hospital of Guangzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Guangzhou Medical University filed Critical First Affiliated Hospital of Guangzhou Medical University
Priority to CN202110583838.8A priority Critical patent/CN113470086B/zh
Publication of CN113470086A publication Critical patent/CN113470086A/zh
Application granted granted Critical
Publication of CN113470086B publication Critical patent/CN113470086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供一种肺部呼吸双相CT影像的配准方法,包括(a)获取肺部呼吸双相的CT影像数据以及呼吸双相的支气管的二值掩码;(b)将CT影像数据入到基础网络算法backbone中,预测形变场;(c)通过形变场得到配准后呼气相和配准后呼气相支气管;(d)计算传统损失和重合损失;(e)根据计算得到的传统损失和重合损失,更新backbone网络权重;(f)重复步骤(a)至(e),直至获得符合预期的模型参数,建立配准模型。该方法利用呼气相支气管经过形变场作用后,理想情况下应该完全被吸气相支气管包含这一呼吸双相数据本身的特点,设计了针对呼吸双相配准问题的损失函数,结合传统的损失以及针对性设计的重合损失,优化了配准的性能。

Description

肺部呼吸双相CT影像的配准方法及其系统和存储介质
技术领域
本发明涉及肺部CT影像处理,特别是肺部呼吸双相CT影像配准的方法及系统,以及相应的计算机存储介质。
背景技术
CT影像上的参数响应映射(Parametric Response Mapping, PRM)是一项评价肺功能的重要指标。对于CT影像,PRM参数的计算需要将吸气相和呼气相进行配准,并基于配准后的结果,计算肺部肺气肿和小气道病变的比例。呼吸双相数据包括吸气相和呼气相,其中吸气相指在肺部吸满气时的影像,而呼气相是指将肺部空气排尽时的影像。吸气相CT值小于-950 HU并且呼气相CT值小于-856 HU的区域被定义为肺气肿病变区域,而吸气相CT值大于-950 HU并且呼气相CT值小于-856 HU的区域被定义为小气道病变区域 。因此,PRM参数计算的性能,主要受到呼吸双相CT配准性能的影响。
考虑到吸气相和呼气相是一个人的两个状态下的两次影像,所以传统的相似度测量是计算配准后影像与目标影像的CT值误差。在过去的一段时间里,有许多算法被提出用于CT呼吸双相配准,基于B-spline的配准算法是一种用途广泛的算法。但是B-spline方法通过对形变进行参数化表示,虽然减小了求解的变量个数,但是也限制了形变的复杂程度,而基于微分同胚变换的配准算法是一种非参数的方法,获得了广泛的认可。尽管这些方法在呼吸双相CT影像配准方面取了一定的成功,但是配准效果依然有一定的提升空间,并且较长的计算时间限制了实际应用。
随着深度学习技术的发展,其进一步提升了医学图像配准的性能。针对医学图像配准问题,众多学者提出了多种基于深度学习的方法。Mattias等人利用深度学习改进配准过程中的相似性度量,Liao等人第一次将增强学习引入到了配准问题,而Yan等人利用对抗生成网络改进配准算法,这些方法在部分性能上都超越了传统配准算法。VoxelMorph是一种基于无监督学习的配准框架,在取得与传统算法相近的配准效果的同时,极大的减少了计算时间。VoxelMorph利用传统3D Unet网络,通过输入目标图及待配准影像,生成三维的形变场。利用从Unet得到的三维形变场,计算待配准图配准后的结果,并与目标图计算相似度测量,通过相似度测量调整Unet网络参数。
然而,吸气相影像由于肺部充满了空气,会导致双相影像之间的CT值有差异。因此,传统的以图像之间的CT值误差作为相似性度量并不够准确,进而导致双相CT影像的配准不准确,在配准不准确的CT影像上进行后续分析,可能会出现偏移严重的错误结果。
发明内容
为提高肺部呼吸双相CT影响的配准性能,本申请提供了一种利用呼吸双相中支气管重合率进行配准的方法、系统及相应的计算机可读介质。
在一个方面,本申请提供一种肺部呼吸双相CT影像的配准方法,包括以下步骤:(a)获取肺部呼吸双相的CT影像数据以及呼吸双相的支气管的二值掩码;(b)将所述CT影像数据输入到基础网络算法backbone中,预测形变场;(c)将形变场作用到呼气相影像,得到配准后呼气相,并且将形变场作用到呼气相支气管上,得到配准后呼气相支气管;(d)计算传统损失和重合损失,其中所述传统损失包括相似性度量以及形变场平滑约束,所述重合损失计算公式为:,其中Iair为吸气相支气管,Eair为呼气相支气管,ϕ为形变场,Eair∘ϕ为配准后支气管;(e)根据计算得到的传统损失和重合损失,更新backbone网络权重;(f)重复步骤(a)至(e),直至获得符合预期的模型参数,建立配准模型。
在一个实施方式中,在步骤(a)中对肺部呼吸双相CT影像进行去噪处理。在另一个实施方式中,在步骤(e)中,求出传统损失和重合损失的代数和或加权代数和,以所述代数和或加权代数和更新backbone网络权重。在另一个实施方式中,在步骤(f)中,当backbone网络权重连续复数次(例如2至10次)不下降时即认为符合预期。
在另一个方面,本申请提供一种肺部呼吸双相CT影像的配准系统,其包括:(a)数据获取模块,用于获取肺部呼吸双相的CT影像数据以及呼吸双相的支气管的二值掩码;(b)形变场预测模块,用于将所述CT影像数据输入到基础网络算法backbone中,预测形变场;(c)配准模块,用于将形变场作用到呼气相影像,得到配准后呼气相,并且将形变场作用到呼气相支气管上,得到配准后呼气相支气管;(d)损失计算模块,用于计算传统损失和重合损失,其中所述传统损失包括相似性度量以及形变场平滑约束,所述重合损失计算公式为:,其中Iair为吸气相支气管,Eair为呼气相支气管,ϕ为形变场,Eair∘ϕ为配准后支气管;(e)backbone网络权重更新模块,用于根据计算得到的传统损失和重合损失,更新backbone网络权重;(f)控制模块,用于重复以上步骤直至获得符合预期的模型参数,建立配准模型。
在一个实施方式中,数据获取模块(a)对肺部呼吸双相CT影像进行去噪处理。在一个实施方式中,损失计算模块(e)求出传统损失和重合损失的代数和或加权代数和,以所述代数和或加权代数和更新backbone网络权重。在一个实施方式中,当backbone网络权重连续复数次不下降时,控制模块(f)即判断为符合预期。
在又一个方面,本申请提供一种计算机存储介质,其上存储有计算机可执行指令,所述指令被执行以实现本申请所述的配准方法。
本申请利用了呼吸双相数据本身的特点,即呼气相支气管经过形变场作用后,理想情况下应该完全被吸气相支气管包含。因此,本申请设计了针对呼吸双相配准问题的损失函数。结合传统的损失以及针对性设计的重合损失,进一步优化了配准的性能。
附图说明
图1示例性显示了本发明的肺部呼吸双相CT影像的配准方法的核心实现框架图。
图2示例性显示了本发明的肺部呼吸双相CT影像的配准方法的实现流程图。
图3显示了本发明的一种肺部呼吸双相CT影像的配准系统。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可根据具体情况改变。
图1示例性显示了本发明的肺部呼吸双相CT影像的配准方法的核心实现框架图。本发明利用了呼气相支气管经过形变场作用后,理想情况下应该完全被吸气相支气管包含这一呼吸双相数据本身的特点,设计了针对呼吸双相配准问题的损失函数,结合传统的损失以及针对性设计的重合损失,优化配准的性能。如图所示,该配准方法利用backbone网络获得形变场(ϕ),通过形变场对呼气相影响进行空间变换,得到配准后影像,并计算传统损失(traditional loss),同时通过形变场作用于呼气相支气管,得到配准后支气管影像,再计算支气管的重合损失(overlay loss)。利用所计算得到的传统损失以及重合损失,更新backbone网络权重,从而获得性能最佳的模型参数。
图2示例性显示了本发明的肺部呼吸双相CT影像的配准方法的实现流程图。该方法开始于步骤S100,获取肺部呼吸双相的CT影像数据以及呼吸双相的支气管的二值掩码,所述二值掩码用于后续重合损失的计算。在一些实施方式中,可在获取CT影像数据之前对CT影像进行降噪处理,以获得更佳的CT影像数据。随后,方法进行步骤S110,将CT影像数据输入到基础网络算法backbone中,预测形变场。基础网络算法backbone的输出即为形变场,需要通过下文的损失迭代式的调整形变场,以提高其准确性。在获得形变场后,通过形变场得到配准后的呼气相和配准后呼气相支气管。在本发明中,对呼气相影像进行空间变换,得到配准后呼气相,并且将形变场作用到呼气相支气管上,得到配准后呼气相支气管(步骤S120)。随后,方法进行步骤S130,分别计算传统损失和重合损失。在本发明中,传统损失包括相似性度量、形变场平滑约束等,这可通过现有技术中常规方法实现,所述重合损失计算公式为:,其中Iair为吸气相支气管,Eair为呼气相支气管,ϕ为形变场,Eair∘ϕ为配准后支气管;所计算的重合损失评估了配准后支气管与吸气相支气管重合部分占配准后支气管的比例。随后,方法进行步骤140,根据计算得到的传统损失和重合损失,更新backbone网络权重。在本发明的一些实施方式中,使用传统损失和重合损失的代数和作为一个总损失来更新backbone网络权重。在本发明的另一些实施方式中,使用传统损失和重合损失的加权代数和作为一个总损失来更新backbone网络权重,其中传统损失和重合损失的加权系数可根据需要确定和调整。方法在步骤S150判断是否获得符合预期的模型参数,如是,进行步骤160,建立配准模型,如否,进行步骤S100以循环多次直至模型参数符合预期。在本发明的一些实施方式中,当backbone网络权重连续复数次(例如2至10次)不下降时即认为符合预期。
图3显示了本发明的一种肺部呼吸双相CT影像的配准系统,其包括控制模块200、数据获取模块210、形变场预测模块220、配准模块230、损失计算模块240以及网络权重更新模块250。控制模块200按照系统预定的逻辑和程序执行控制功能,数据获取模块210用于获取肺部呼吸双相的CT影像数据以及呼吸双相的支气管的二值掩码。形变场预测模块220用于将所述CT影像数据输入到基础网络算法backbone中,预测形变场。配准模块230用于通过形变场对呼气相影像进行空间变换,得到配准后呼气相,并且将形变场作用到呼气相支气管上,得到配准后呼气相支气管。损失计算模块240用于计算传统损失和重合损失,其中所述传统损失包括相似性度量以及形变场平滑约束,所述重合损失计算公式为:,其中Iair为吸气相支气管,Eair为呼气相支气管,ϕ为形变场,Eair∘ϕ为配准后支气管。网络权重更新模块250用于根据计算得到的传统损失和重合损失,更新backbone网络权重。控制模块200判断模型参数是否符合预期,以决定是否循环执行网络权重更新,或停止更新建立配准模型。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种肺部呼吸双相CT影像的配准方法,包括以下步骤:
(a)获取肺部呼吸双相的CT影像数据以及呼吸双相的支气管的二值掩码;
(b)将所述CT影像数据输入到基础网络算法backbone中,预测形变场;
(c)将形变场作用到呼气相影像,得到配准后呼气相,并且将形变场作用到呼气相支气管上,得到配准后呼气相支气管;
(d)计算传统损失和重合损失,其中所述传统损失包括相似性度量以及形变场平滑约束,所述重合损失计算公式为:
其中Iair为吸气相支气管,Eair为呼气相支气管,为形变场,/>为配准后支气管;
(e)根据计算得到的传统损失和重合损失,求出传统损失和重合损失的代数和或加权代数和,以所述代数和或加权代数和更新backbone网络权重;
(f)重复步骤(a)至(e),直至获得符合预期的模型参数,建立配准模型。
2.根据权利要求1所述的配准方法,其特征在于,在步骤(a)中对肺部呼吸双相CT影像进行去噪处理。
3.根据权利要求1所述的配准方法,其特征在于,在步骤(f)中,当backbone网络权重连续复数次不下降时即认为符合预期。
4.一种肺部呼吸双相CT影像的配准系统,其包括:
(a)数据获取模块,用于获取肺部呼吸双相的CT影像数据以及呼吸双相的支气管的二值掩码;
(b)形变场预测模块,用于将所述CT影像数据输入到基础网络算法backbone中,预测形变场;
(c)配准模块,用于将形变场作用到呼气相影像,得到配准后呼气相,并且将形变场作用到呼气相支气管上,得到配准后呼气相支气管;
(d)损失计算模块,用于计算传统损失和重合损失,其中所述传统损失包括相似性度量以及形变场平滑约束,所述重合损失计算公式为:
其中Iair为吸气相支气管,Eair为呼气相支气管,为形变场,/>为配准后支气管;
(e)backbone网络权重更新模块,用于根据计算得到的传统损失和重合损失,求出传统损失和重合损失的代数和或加权代数和,以所述代数和或加权代数和更新backbone网络权重;
(f)控制模块,用于重复以上步骤直至获得符合预期的模型参数,建立配准模型。
5.根据权利要求4所述的配准系统,其特征在于,数据获取模块(a)对肺部呼吸双相CT影像进行去噪处理。
6.根据权利要求4所述的配准系统,其特征在于,当backbone网络权重连续复数次不下降时,控制模块(f)即判断为符合预期。
7.一种计算机存储介质,其上存储有计算机可执行指令,所述指令被执行以实现权利要求1至3任一项所述的配准方法。
CN202110583838.8A 2021-05-27 2021-05-27 肺部呼吸双相ct影像的配准方法及其系统和存储介质 Active CN113470086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110583838.8A CN113470086B (zh) 2021-05-27 2021-05-27 肺部呼吸双相ct影像的配准方法及其系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110583838.8A CN113470086B (zh) 2021-05-27 2021-05-27 肺部呼吸双相ct影像的配准方法及其系统和存储介质

Publications (2)

Publication Number Publication Date
CN113470086A CN113470086A (zh) 2021-10-01
CN113470086B true CN113470086B (zh) 2023-10-24

Family

ID=77871405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110583838.8A Active CN113470086B (zh) 2021-05-27 2021-05-27 肺部呼吸双相ct影像的配准方法及其系统和存储介质

Country Status (1)

Country Link
CN (1) CN113470086B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114927202B (zh) * 2022-06-13 2023-03-24 上海市胸科医院 肺部形变模拟方法、装置及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110018573A (ko) * 2009-08-18 2011-02-24 서울여자대학교 산학협력단 호기 및 흡기 컴퓨터 단층촬영 영상의 비강체 폐 영상 정합 장치 및 방법
CN111242931A (zh) * 2020-01-15 2020-06-05 东北大学 一种单肺叶的小气道病变判断方法和装置
CN111388000A (zh) * 2020-03-27 2020-07-10 上海杏脉信息科技有限公司 虚拟肺部空气潴留图像预测方法及系统、存储介质及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200152289A1 (en) * 2018-11-09 2020-05-14 The Broad Institute, Inc. Compressed sensing for screening and tissue imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110018573A (ko) * 2009-08-18 2011-02-24 서울여자대학교 산학협력단 호기 및 흡기 컴퓨터 단층촬영 영상의 비강체 폐 영상 정합 장치 및 방법
CN111242931A (zh) * 2020-01-15 2020-06-05 东北大学 一种单肺叶的小气道病变判断方法和装置
CN111388000A (zh) * 2020-03-27 2020-07-10 上海杏脉信息科技有限公司 虚拟肺部空气潴留图像预测方法及系统、存储介质及终端

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MSCS-DeepLN: Evaluating lung nodule malignancy using multi-scale cost-sensitive neural networks;Xiuyuan Xu等;Medical Image Analysis;第65卷;第1-15页 *
MS-UNet: A multi-scale UNet with feature recalibration approach for automatic liver and tumor segmentation in CT images;Devidas T. Kushnure等;Computerized Medical Imaging and Graphics;第89卷;第1-14页 *
Rigid and Deformable Image Registration for Radiation Therapy: A Self-Study Evaluation Guide for NRG Oncology Clinical Trial Participation;Yi Rong等;Practical Radiation Oncology;第11卷(第4期);第282-298页 *
医学图像非刚性配准方法及系统研究;张丽梅;中国优秀硕士学位论文全文数据库 医药卫生科技辑(第6期);E060-23 *

Also Published As

Publication number Publication date
CN113470086A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
Yin et al. A cubic B-spline-based hybrid registration of lung CT images for a dynamic airway geometric model with large deformation
KR101428005B1 (ko) 소수의 저선량 ct 영상을 이용하여 pet 영상을 움직임 보상 및 감쇠 보정하는 방법
JP6433149B2 (ja) 姿勢推定装置、姿勢推定方法およびプログラム
JP7022195B2 (ja) 機械学習装置、方法およびプログラム並びに記録媒体
KR101144579B1 (ko) 호기 및 흡기 컴퓨터 단층촬영 영상의 비강체 폐 영상 정합 장치 및 방법
CN107133946B (zh) 医学图像处理方法、装置及设备
US8682074B2 (en) Method for checking the segmentation of a structure in image data
CN104504737B (zh) 一种从肺部ct图像获得三维气管树的方法
CN107230223B (zh) 基于不连续运动的肝部三维多模态图像配准方法
US20160292864A1 (en) Medical image data processing apparatus and method for determining the presence of an abnormality
CN113470086B (zh) 肺部呼吸双相ct影像的配准方法及其系统和存储介质
CN111242931B (zh) 一种单肺叶的小气道病变判断方法和装置
KR100999232B1 (ko) Ct 폐영상에서 기울기와 밝기값 분포를 이용한 폐분할 방법
Wallat et al. Modeling the impact of out‐of‐phase ventilation on normal lung tissue response to radiation dose
CN108968916B (zh) 呼吸运动校正方法、装置、计算机设备和存储介质
Jafari et al. In-vivo lung biomechanical modeling for effective tumor motion tracking in external beam radiation therapy
Ramus et al. Construction of patient specific atlases from locally most similar anatomical pieces
CN108428245B (zh) 基于自适应正则项的滑移图像配准方法
Xiao et al. Deep learning-based lung image registration: A review
US20230133374A1 (en) Method, computer program, system and ventilator, for determining patient-specific respiratory parameters on a ventilator
US11826189B2 (en) Computer implemented method for estimating lung perfusion from thoracic computed tomography images
KR101460908B1 (ko) 4차원 컴퓨터 단층촬영 영상의 폐종양 위치 추적 시스템 및 그 방법
Zhang et al. Evaluation of the ΔV 4D CT ventilation calculation method using in vivo xenon CT ventilation data and comparison to other methods
CN111388000B (zh) 虚拟肺部空气潴留图像预测方法及系统、存储介质及终端
CN114927202B (zh) 肺部形变模拟方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant