CN112785632B - 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法 - Google Patents

基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法 Download PDF

Info

Publication number
CN112785632B
CN112785632B CN202110185991.5A CN202110185991A CN112785632B CN 112785632 B CN112785632 B CN 112785632B CN 202110185991 A CN202110185991 A CN 202110185991A CN 112785632 B CN112785632 B CN 112785632B
Authority
CN
China
Prior art keywords
image
images
drr
registration
epid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110185991.5A
Other languages
English (en)
Other versions
CN112785632A (zh
Inventor
倪昕晔
孙佳伟
刘琮
李春迎
毕卉
陆正大
高留刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Second Peoples Hospital
Original Assignee
Changzhou Second Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Second Peoples Hospital filed Critical Changzhou Second Peoples Hospital
Priority to CN202110185991.5A priority Critical patent/CN112785632B/zh
Publication of CN112785632A publication Critical patent/CN112785632A/zh
Application granted granted Critical
Publication of CN112785632B publication Critical patent/CN112785632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及图像引导放疗技术领域，尤其涉及基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法，步骤包括：采集图像、构建深度学习模型、骨性边界分割、图像配准、EPID图像引导放疗临床应用；EPID获取正交的DR影像，计划CT重建出DRR影像，将每个患者的DRR影像和DR影像预处理，并作为图像组输入到深度学习模型中，自动分割两幅图像中的骨性边界，再利用传统的互信息方法通过配准边界轮廓来实现两幅图像的跨模态自动配准。本发明通过利用清晰的高质量DRR影像，基于深度学习实现影像信息跨模态的交互，改进了EPID获取的DR影像质量，预测可靠的骨性边界实现高鲁棒性的配准，提高图像引导放疗质量。

Description

基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准 方法
技术领域
本发明涉及图像引导放疗技术领域，尤其涉及基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法。
背景技术
放射治疗是当今治疗肿瘤的重要方法。在放疗中，精确摆位具有重要意义，能够保证放疗计划的有效实施，在降低周围器官剂量的同时最大化目标剂量，保护瘤周正常组织，提高放疗质量。因此，提高放射治疗中的摆位精度是十分必要的。
图像引导放疗IGRT将放疗时的影像与放疗前的影像进行配准，以减少摆位误差，这是放射治疗成功的必要步骤。兆伏级的EPID在IGRT的日常实践中得到广泛应用，虽然有全新的CBCT技术，但是EPID有效利用了加速器资源，与治疗束同坐标系，并直接从治疗束中获取正交图像，从而减少了机械误差并允许在治疗期间进行实时验证。更重要的是，EPID的操作效率更高，只需要两个角度，而CBCT需要旋转一圈。通常情况下，基于EPID的IGRT将兆伏级EPID采集的正交二维平面数字射线影像DR配准到由计划CT生成的千伏级数字重建射线影像DRR上。在EPID验证中，由于DR中软组织的分辨率较低，因此医师通常使用骨性标记作为配准DR与DRR的参考。这种人工配准方法不仅费时，而且难以保证分次放疗摆位的一致性。
因此需要多模态自动配准方法来指导精准的摆位并且保证一致性，一般将放疗时影像设置为固定图像，放疗前影像设置为移动图像。多模态医学图像的配准通常存在一个共有的问题，那就是不同成像方式产生的图像存在固有的差异，放疗前影像具有清晰的解剖结构，但放疗时影像的质量通常受到放疗要求的限制，如便携性、可访问性和有限的成像时间等。千伏级的DRR影像是高质量的放疗前图像，具有清晰的骨解剖结构，但兆伏级的DR影像通常存在低对比度成像、解剖边界模糊、遮挡和照度变化等问题。造成的原因包括MV射线的康普顿效应，定位设备的遮挡，以及治疗时的时间限制阻止更好成像技术的使用。此外，由于空间和时间的变化，DR和DRR之间固有的像素级强度分布差异，使得它们之间的配准对于临床医生或自动方法来说都非常具有挑战性。
经典的基于图像像素强度的配准方法通过优化一个手工设计的相似性度量指标，例如互信息，来迭代改善图像之间的强度对应关系。然而，DR-DRR图像对固有的强度分布差异已经超出了常用相似度量的捕捉范围，无法获得满意的结果。最近深度卷积神经网络CNN技术因其自动学习能力和大数据泛化能力快速发展，带来了优于手工设计的潜力，可以自动学习复杂的对应。这些方法通过学习相似性度量、预测空间变换关系或提高图像质量来实现配准。虽然这些自动学习度量的方法展示了一定的多模态医学图像配准应用前景，但是它们的配准成功率严重依赖于训练数据集的对齐情况，对齐的越完美效果越好，而这在大数据临床应用时很难实现，只能在科学研究中取得不错的结果。基于CNN的替代方法最近被提出，通过预测高层次的对应特征，例如相同的器官、病理区域和其他解剖结构，超越了脆弱的像素级对应。然而，这些方法仍然存在放疗时图像质量差的问题，即DR图像视觉上依然模糊，并未得到改善。
发明内容
本发明的目的是为了解决现有技术中DR图像质量差和缺乏像素级金标准的缺点，而提出的基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法。
为了实现上述目的，本发明采用了如下技术方案：
基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法，包括以下步骤：
S1采集图像：在放疗前中，首先采集患者的CT三维图像，通过数字重建出正交方向的两张二维DRR影像，分别为前后向视图0°和侧视图90°，放疗时，利用EPID采集正交的平面X光片DR影像，将DICOM格式的数据全部转化为JPG格式，预处理后存储为训练和测试数据集；
S2构建深度学习模型：建立自动分割配准网络模型，由DeepLabV3+、跨模态注意力模块和跨模态优化模块组成，输入为S1中采集的DR-DRR影像组，在GPU上进行深度学习训练，保存最佳网络模型权重；
S3骨性边界分割：将S2训练好的网络用于分割骨性边界，并输出边界轮廓，实现可视化；
S4 图像配准：利用经典的互信息方法计算S3中获得的DR和DRR中边界轮廓的相似度，并得出X，Y两个方向的位移值，根据结果计算配准率；
S5 EPID图像引导放疗临床应用：将模型应用于EPID图像引导放疗，在患者放疗时，实时分割DR-DRR图像组骨性边界并可视化，配准计算X，Y两个方向的位移值，根据位移和可视化结果调整摆位，进行治疗。
优选的，所述的S2中，训练深度学习网络需要的DR-DRR图像组数据集，无需完美的逐像素对齐，通过高阶特征进行配准。
优选的，所述的S2中，利用高质量的DRR影像来改善DR影像的质量，优化DR影像的骨性边界预测，最终提升DR和DRR图像之间的配准。
优选的，所述的S2中，设计并实现了一个跨模态网络，以促进跨模态的互补性，该网络广泛适用于治疗前图像与治疗时图像之间表示学习的一般问题。
优选的，所述的S4中，使用预测的未标注图像对的骨性边界，来实现更加鲁棒的配准。
与现有技术相比，本发明的有益效果是：
1、本发明在基于深度学习的高阶对应特征配准的基础上，通过利用高质量的放疗前CT重建的千伏级DRR影像来改进兆伏级EPID获取的治疗时DR图像，通过深度学习模型实现影像信息跨模态的交互，增强对相同解剖结构的表示，预测对应的骨性边界轮廓并可视化，通过更鲁邦的轮廓配准实时计算X，Y方向的位移值，调整患者摆位，提高图像引导放疗的质量。
2、本发明对数据集无对齐需求，自动预测了高阶对应特征，实现跨模态交互，改善了模糊的DR影像的质量问题，优化了轮廓预测，提升了配准率，此外，定位时先勾画轮廓再对齐轮廓的思路与临床实践的思路相一致，方便医生验证轮廓对准或进一步调整轮廓。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提出的基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法的流程图；
图2是患者的正交两个方向的DR和DRR图像组；
图3是放射科医生标注勾画的骨性边界数据，与原图像一起组成数据集；
图4是深度学习模型的结构图；
图5是模型训练过程中的可视化结果；
图6是测试集输出的骨性边界分割结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-3，本发明的实施例提供了基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法，包括以下步骤：
（1）采集图像：在放疗前中，首先采集患者的CT三维图像，通过数字重建出正交方向的两张二维DRR影像，分别为前后向视图0°和侧视图90°。放疗时，利用EPID采集正交的平面X光片DR影像。将DICOM格式的数据全部转化为JPG格式，预处理后存储为训练和测试数据集；
（2）构建深度学习模型：建立自动分割配准网络模型，主要由DeepLabV3+、跨模态注意力模块和跨模态优化模块组成。输入为步骤（1）中采集的DR-DRR影像组，在GPU上进行深度学习训练，保存最佳网络模型权重；
（3）骨性边界分割：将步骤（2）训练好的网络用于分割骨性边界，并输出边界轮廓，实现可视化；
（4）图像配准：利用经典的互信息方法计算步骤（3）中获得的DR影像和DRR影像中边界轮廓的相似度，并得出X，Y两个方向的位移值，根据结果计算配准率。
（5）EPID图像引导放疗临床应用：将模型应用于EPID图像引导放疗，在患者放疗时，实时分割DR-DRR图像组骨性边界并可视化，配准计算X，Y两个方向的位移值，根据位移和可视化结果调整摆位，进行治疗。
其中，（2）中，训练深度学习网络需要的DR-DRR图像组数据集，无需完美的对齐，并利用高质量的DRR影像来改善DR影像的质量，最终实现了一个跨模态网络，广泛适用于治疗前图像与治疗时图像之间表示学习的一般问题。（4）中，使用预测的骨性边界，来实现更加鲁棒的配准。
具体实施方式中，操作流程如下：
1、采集图像
兆伏级DR影像由直线加速器上的EPID系统，在1-2个处方剂量值MU下进行采集，获得的是正交的2D平面数字x线照片。本实施例中DR的图像大小为1344像素×1344像素，扫描视野FoV为270mm×270mm；千伏级DRR的图像大小为512像素×512像素，扫描视野FoV为500mm×500mm。DR影像和DRR影像都经过重采样，然后裁剪成480像素×480像素，扫描视野FoV为240mm×240mm（像素间距0.5毫米）。DR-DRR图像组如图2所示，放疗时影像(DR)的清晰度与对比度要比放疗前影像(DRR)低很多。所有图像都由一名高级放射科医生和两名初级放射科医生仔细标注，为模型训练提供轮廓描绘，即金标准，如图3所示，红色表示轮廓边界，尽管是由经验丰富的医生手动标准，但是标签依然存在一定的噪声；
2、构建深度学习模型
为了解决DR影像质量低和缺乏像素级金标准的问题，我们提出了一种基于深度学习的自动分割配准网络，利用高质量DRR图像来补充和改进由低质量DR图像预测的骨性边界轮廓。其核心思想是促进跨模态表示交互，以增强对相同解剖结构的表示，并细化从DR影像预测的模糊特征，例如骨骼边界。模型的架构图如图4所示，将步骤（1）中采集的DR-DRR图像对作为输入，双路径的输入到DeepLabV3+主干网络、跨模态注意力模块、跨模态细化模块和互信息配准模块，输出细化的DR-DRR骨性边界和配准结果。
模型设计了跨模态注意力模块和跨模态优化模块来实现跨模态交互，自动分割、优化骨性边界。跨模态注意力模块在特征编码阶段通过实现注意力机制对跨模态特征图进行融合，输出粗预测的轮廓和关键点。进一步的，该模块采用的注意机制是交叉注意力机制，它融合了DR-DRR图像对的跨模态特征图，以强调两种模态之间的共同特征，并抑制不相关的特征，这样，DRR中的高分辨率特征可以为DR中高阶解剖结构的学习和识别提供有意义的参考。跨模态优化模块在解码阶段，在DRR模态相应的高质量预测基础上，进一步改进DR特征图，给予DR更精确的解剖结构预测。进一步的，该模块使用空间变换功能块直接学习空间变换关系，通过上一阶段预测的关键点来对齐特征图和轮廓，然后计算DR-DRR粗轮廓之间的余弦相似度得分，再根据得分加权优化融合优化对齐后的特征图，并输出精细的DR轮廓。
模型在自动分割网络之后加入互信息来配准细化的DR轮廓和DRR轮廓，实现了高阶语义特征之间的高鲁棒性配准。
进一步的，在GPU上训练网络模型，为了改进训练，设计了一种主动轮廓损失函数，它结合了BCE损失和长度损失来约束轮廓的边界和区域损失。使用Adam优化方法进行迭代训练，本实例中初始学习率为1e-4，读取图像的批次大小为5。当训练损失收敛时，保存最佳网络模型权重。模型训练过程中的特征图可视化如图5所示，(a)和(b)分别为0°的DR-DRR图像组，其中红线表示医生标注的金标准，蓝线表示网络预测的边界轮廓。(c)和(d)分别为DR经过跨模态注意力模块处理前后的特征图，可以看出，该模块极大地压缩了不相关信息，使得改进后的DR特征图中感兴趣的像素更加突出。通过跨模态优化模块对齐了DR和DRR的特征图，得到变换后的DRR特征图（e），并测量对齐质量，得到本例中的相似性得分为0.79。（f）是由相似度得分加权后的优化DR特征图。通过(c)(d)和(e)(f)中特征图的比较，验证了交叉模态注意力模块和细化模块的效果。(d)中突出显示了相关像素，(h)中也减少了边界像素的不确定性，降低了轮廓厚度，这些都得益于DRR模态信息的获取；
3、骨性边界分割
将未标注的DR-DRR图像组输入到步骤（2）训练好的网络用于分割骨性边界，调用TensorBoard工具包实现分割结果可视化，如图6所示，白色代表了预测轮廓，红色十字代表预测的关键点，粗预测轮廓由于不确定性而变得又粗又模糊。与之相比，细轮廓减少了不确定性，更加精细。
使用豪斯多夫距离(Hausdorff distance，HD)来评估轮廓分割质量。HD对于分割的边界敏感，非常适合评估边界分割结果，是度量金标准（GT）与预测轮廓（P）之间的一种距离，定义为：
此外还通过配准分割结果和金标准，计算了它们X和Y方向上的位移，当偏差小于3mm时，符合放疗要求。我们统计了X和Y方向上位移均小于3mm的概率，即配准准确率Acc；
4、图像配准
利用经典的互信息方法计算步骤（3）中获得的优化后的DR和DRR中边界轮廓的相似度。当成像方式不同两幅图像配准时，如果基于相同的人体解剖结构，那么就可以使用互信息来进行多模态配准。对于图像M，图像N，互信息定义为：
其中，，/>分别为图像M，N中灰度值m，n同时出现的概率。当两幅图像的空间位置一致时，对应像素的MI值最大。并得出X，Y两个方向的位移值，当偏差小于3mm时，符合放疗要求；
5、EPID图像引导放疗临床应用：将模型应用于EPID图像引导放疗，放疗前，首先将CT重建的DRR影像导入到模型指定输入位置，在患者放疗时，EPID实时采集DR影像并导入到指定位置，当形成DR-DRR图像组后，启动模型，快速分割DR-DRR图像组骨性边界并可视化，医生根据可视化结果判断是否需要调整轮廓，之后通过配准边界轮廓计算X，Y两个方向的位移值，根据位移调整摆位，进行图像引导放疗。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“设置”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，根据具体情况理解上述术语在本发明中的具体含义。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、 “第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

Claims (3)

1.基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法，其特征在于，包括以下步骤：
S1采集图像：在放疗前中，首先采集患者的CT三维图像，通过数字重建出正交方向的两张二维DRR影像，分别为前后向视图0°和侧视图90°，放疗时，利用EPID采集正交的平面X光片DR影像，将DICOM格式的数据全部转化为JPG格式，预处理后存储为训练和测试数据集；
S2构建深度学习模型：建立自动分割配准网络模型，由DeepLabV3+、跨模态注意力模块和跨模态优化模块组成，输入为S1中采集的DR-DRR影像组，在GPU上进行深度学习训练，保存最佳网络模型权重，训练深度学习网络需要的DR-DRR图像组数据集，无需完美的逐像素对齐，通过高阶特征进行配准，利用高质量的DRR影像来改善DR影像的质量，优化DR影像的骨性边界预测，最终提升DR和DRR图像之间的配准；
S3骨性边界分割：将S2训练好的网络用于分割骨性边界，并输出边界轮廓，实现可视化；
S4 图像配准：利用经典的互信息方法计算S3中获得的DR和DRR中边界轮廓的相似度，并得出X，Y两个方向的位移值，根据结果计算配准率；
S5 EPID图像引导放疗临床应用：将模型应用于EPID图像引导放疗，在患者放疗时，实时分割DR-DRR图像组骨性边界并可视化，配准计算X，Y两个方向的位移值，根据位移和可视化结果调整摆位，进行治疗。
2.根据权利要求1所述的基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法，其特征在于，所述的S2中，设计并实现了一个跨模态网络，以促进跨模态的互补性，该网络广泛适用于治疗前图像与治疗时图像之间表示学习的一般问题。
3.根据权利要求1所述的基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法，其特征在于，所述的S4中，使用预测的未标注图像对的骨性边界，来实现更加鲁棒的配准。
CN202110185991.5A 2021-02-13 2021-02-13 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法 Active CN112785632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110185991.5A CN112785632B (zh) 2021-02-13 2021-02-13 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110185991.5A CN112785632B (zh) 2021-02-13 2021-02-13 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法

Publications (2)

Publication Number Publication Date
CN112785632A CN112785632A (zh) 2021-05-11
CN112785632B true CN112785632B (zh) 2024-05-24

Family

ID=75761503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110185991.5A Active CN112785632B (zh) 2021-02-13 2021-02-13 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法

Country Status (1)

Country Link
CN (1) CN112785632B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421226B (zh) * 2021-06-03 2022-11-01 山东师范大学 基于互信息的ct-dr多模态食管图像配准方法及系统
CN113744320B (zh) * 2021-09-10 2024-03-29 中国科学院近代物理研究所 一种智能型的离子束自适应放疗系统、存储介质及设备
CN113920179B (zh) * 2021-11-09 2022-04-29 广州柏视医疗科技有限公司 一种基于标记点的多视觉2d-3d图像非刚性配准方法及系统
CN115359103B (zh) * 2022-08-24 2023-04-18 北京医智影科技有限公司 图像配准网络模型及其建立方法、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134210A (zh) * 2014-07-22 2014-11-05 兰州交通大学 基于组合相似性测度的2d-3d医学图像并行配准方法
CN110070511A (zh) * 2019-04-30 2019-07-30 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110993064A (zh) * 2019-11-05 2020-04-10 北京邮电大学 面向深度学习的医学影像标注方法及装置
CN111583173A (zh) * 2020-03-20 2020-08-25 北京交通大学 一种rgb-d图像显著性目标检测方法
CN111627521A (zh) * 2020-06-04 2020-09-04 常州市第二人民医院 增强现实在放疗中的应用
WO2020259920A1 (de) * 2019-06-24 2020-12-30 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren zum bewerten einer laserschnittkante, mobiles endgerät und system
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112348857A (zh) * 2020-11-06 2021-02-09 苏州雷泰医疗科技有限公司 一种基于深度学习的放射治疗摆位偏移计算方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009012577A1 (en) * 2007-07-20 2009-01-29 Resonant Medical Inc. Methods and systems for compensating for changes in anatomy of radiotherapy patients
US10778412B2 (en) * 2017-12-28 2020-09-15 Intel Corporation Multi-domain convolutional neural network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134210A (zh) * 2014-07-22 2014-11-05 兰州交通大学 基于组合相似性测度的2d-3d医学图像并行配准方法
CN110070511A (zh) * 2019-04-30 2019-07-30 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
WO2020259920A1 (de) * 2019-06-24 2020-12-30 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren zum bewerten einer laserschnittkante, mobiles endgerät und system
CN110993064A (zh) * 2019-11-05 2020-04-10 北京邮电大学 面向深度学习的医学影像标注方法及装置
CN111583173A (zh) * 2020-03-20 2020-08-25 北京交通大学 一种rgb-d图像显著性目标检测方法
CN111627521A (zh) * 2020-06-04 2020-09-04 常州市第二人民医院 增强现实在放疗中的应用
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112348857A (zh) * 2020-11-06 2021-02-09 苏州雷泰医疗科技有限公司 一种基于深度学习的放射治疗摆位偏移计算方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
放射治疗中的图像配准算法研究;耿国星;《硕士学位论文》;18-51 *

Also Published As

Publication number Publication date
CN112785632A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN112785632B (zh) 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法
Chen et al. Automatic segmentation of individual tooth in dental CBCT images from tooth surface map by a multi-task FCN
CN108778416B (zh) 使用组织参数估计根据mr数据的伪ct生成的系统、方法和介质
CN108770373B (zh) 使用特征回归模型根据mr数据的伪ct生成
CN109754394B (zh) 三维医学图像处理装置及方法
US11219426B2 (en) Method and system for determining irradiation dose
CN109859184B (zh) 一种连续扫描乳腺超声图像的实时检测与决策融合方法
CN113808106A (zh) 一种基于深度学习的超低剂量pet图像重建系统及方法
CN113223028A (zh) 一种基于mr和ct的多模态肝脏肿瘤分割方法
JP5296981B2 (ja) アフィン変換を用いたモダリティ内医療体積画像の自動位置合わせ
US12046018B2 (en) Method for identifying bone images
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN109903264B (zh) 数字人图像与ct图像的配准方法及系统
CN114581474A (zh) 一种基于宫颈癌ct影像的临床靶区自动勾画方法
CN114881914A (zh) 基于医学影像确定三维功能肝段的系统及方法
CN117523204A (zh) 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质
CN117911432A (zh) 图像分割方法、装置及存储介质
WO2023160720A1 (en) Methods, systems, and storage mediums for image generation
Mukai et al. Tongue model construction based on ultrasound images with image processing and deep learning method
CN116168097A (zh) 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质
Longuefosse et al. Lung CT Synthesis Using GANs with Conditional Normalization on Registered Ultrashort Echo-Time MRI
CN113689353A (zh) 三维图像的增强方法、图像增强模型的训练方法及装置
RU2478337C2 (ru) Способ определения контура сердца на флюорографических снимках
Steininger et al. A novel class of machine-learning-driven real-time 2D/3D tracking methods: texture model registration (TMR)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant