CN115393402B - 图像配准网络模型的训练方法、图像配准方法及设备 - Google Patents

图像配准网络模型的训练方法、图像配准方法及设备 Download PDF

Info

Publication number
CN115393402B
CN115393402B CN202211024435.0A CN202211024435A CN115393402B CN 115393402 B CN115393402 B CN 115393402B CN 202211024435 A CN202211024435 A CN 202211024435A CN 115393402 B CN115393402 B CN 115393402B
Authority
CN
China
Prior art keywords
image
loss
registration
pair
deformation field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211024435.0A
Other languages
English (en)
Other versions
CN115393402A (zh
Inventor
张云
白璐
王少彬
陈颀
陈宇
丁生苟
黄玉玲
袁星星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yizhiying Technology Co ltd
Original Assignee
Beijing Yizhiying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhiying Technology Co ltd filed Critical Beijing Yizhiying Technology Co ltd
Priority to CN202211024435.0A priority Critical patent/CN115393402B/zh
Publication of CN115393402A publication Critical patent/CN115393402A/zh
Application granted granted Critical
Publication of CN115393402B publication Critical patent/CN115393402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像配准网络模型的训练方法、图像配准方法及设备，训练方法包括获取训练样本集中的多个第一图像对；对每个第一图像对中的两张医学图像进行处理，得到每个第一图像对对应的一组训练样本；将每组训练样本输入图像配准网络模型中进行配准，得到多个形变场；基于多个形变场计算每个训练样本中的形变场复合自约束条件和配准损失；基于形变场复合自约束条件和配准损失计算每组训练样本的网络损失；利用网络损失调整图像配准网络模型的参数；重复执行输入训练样本、计算网络损失和调整参数的步骤，直到网络损失达到预设收敛条件时，对图像配准网络模型训练结束，得到训练好的图像配准网络模型。本申请具有为了提高配准精度的效果。

Description

图像配准网络模型的训练方法、图像配准方法及设备
技术领域
本申请涉及图像处理技术的技术领域，尤其是涉及一种图像配准网络模型的训练方法、图像配准方法及设备。
背景技术
医学图像配准是将不同时间、不同医学设备采集的图像转换到统一的空间坐标系下，使相同空间位置上的图像信息对应于相同的解剖结构，以融合不同时间、不同设备采集的图像信息，从而完成对病灶变化的监测，融合多模态信息以辅助诊断等等，因此，图像配准技术在医学图像处理中有广泛的应用。例如，辅助诊断、手术规划、手术导航，放疗靶区勾画、病灶形变监测、剂量映射与剂量累积、图像引导放射治疗、自适应放疗等应用。
其中，多模态图像配准是配准在不同时间，由不同类型设备采集的同一病人多幅图像的技术，它用于综合不同类型图像过的优势，为诊断和治疗提供更多的信息，因此具有重要的研究意义和应用价值。
传统的配准方法是把每一次配准问题看成一个优化问题，只处理目前配准的一组图像，通过计算损失函数对形变场的梯度，从而更新对形变场的估计以得到新的形变场；再计算新的形变场作用于移动图像的相似性损失、连续性约束条件和轮廓约束条件来更新网络损失，按照上述过程不断更新迭代，直到网络损失达到预设收敛条件为止；基于图像配准网络模型的配准是在传统配准方法基础上发展起来的，需要通过大量数据提取与配准相关的统计特征，由于图像配准网络模型的参数是共享的，所以需要利用训练样本集对参数进行更新。
对于传统配准算法的方式来说，每种类型的图像通常都需要选择一组适合的参数，因此导致处理不同图像配准时的配准性能不稳定；对于基于图像配准网络模型的方式来说，虽然通过大量数据提取与配准相关的统计特征对参数进行更新，总体上配准效果更稳定一点，但是对形变场精细化刻画能力不足，从而导致配准精度较低。
发明内容
为了提高配准精度，本申请提供一种图像配准网络模型的训练方法、图像配准方法及设备。
第一方面，本申请提供一种图像配准网络模型训练方法，采用如下的技术方案：
获取训练样本集，所述训练样本集包括多个第一图像对，所述第一图像对包括不同模态的两张医学图像；
对每个所述第一图像对中的两张医学图像进行处理，得到每个所述第一图像对对应的一组训练样本，其中，每组所述训练样本包括多张医学图像；
将每组所述训练样本分别输入图像配准网络模型中进行配准，得到多个形变场；
基于多个所述形变场计算每个所述训练样本中的形变场复合自约束条件和配准损失，所述配准损失包括相似性损失、形变场连续性的约束条件以及轮廓约束条件；
基于所述形变场复合自约束条件和所述配准损失计算每组所述训练样本的网络损失；
利用每组所述训练样本的网络损失调整所述图像配准网络模型的参数；
重复执行输入所述训练样本、计算所述网络损失和调整参数的步骤，直到所述网络损失达到预设收敛条件时，对所述图像配准网络模型训练结束，得到训练好的图像配准网络模型。
通过采用上述技术方案，通过增加形变场复合自约束条件对图像配准网络模型进行训练，从而提高对形变场精细化的刻画能力，进而提高图像配准网络模型的精度。
可选的，所述对每个所述第一图像对中的两张医学图像进行处理，得到每个所述第一图像对对应的一组训练样本，包括：
选择其中一张医学图像作为参考图像，另一张医学图像作为移动图像；
对所述参考图像和/或所述移动图像进行扩增处理得到至少一张扩增图像；
将所述参考图像、所述移动图像以及所述至少一张扩增图像组成一组训练样本。
通过采用上述技术方案，通过对参考图像和移动图像进行扩增处理，增加每组训练样本的数据多样性，使得通过训练样本训练的图像配准网络模型能够适应的范围更加广泛，性能更稳定。
可选的，所述将每组所述训练样本分别输入图像配准网络模型中进行配准，得到多个形变场，包括：
当所述训练样本包括一张扩增图像时，将所述训练样本中的所有医学图像两两组合形成一个所述第一图像对和一个第二图像对，其中，所述第二图像对包括一参考图像和一移动图像对应的扩增图像或一移动图像和一参考图像对应的扩增图像；
将所述第一图像对和所述第二图像对分别输入所述图像配准网络模型中，生成一个所述第一图像对对应的形变场和一个所述第二图像对对应的形变场；或者，
当所述训练样本包括多张扩增图像时，将所述训练样本中的所有医学图像两两组合形成一个所述第一图像对和多个第二图像对，其中，每个所述第二图像对均包括一参考图像和一移动图像，其中，每个所述第二图像对中的参考图像和移动图像至少一个为扩增图像；
将所述第一图像对和多个所述第二图像对分别输入所述图像配准网络模型中，生成一个所述第一图像对对应的形变场和每个所述第二图像对对应的形变场。
可选的，所述基于多个所述形变场计算每个所述训练样本中的形变场复合自约束条件，包括：
当所述训练样本包括一个第二图像对时，将所述训练样本中的所述第一图像对对应的形变场作用于所述第一图像对中的移动图像，生成配准后的移动图像；
将配准后的移动图像与所述第一图像对中的参考图像进行匹配得到第一配准等式；
将所述第二图像对对应的形变场作用于第二图像对的移动图像，生成配准后的移动图像；
将配准后的移动图像与所述第二图像对中的参考图像进行匹配，得到第二图像对对应的第二配准等式；
将所述第二配准等式与所述第一配准等式结合，得到所述第二图像对与所述第一图像对之间的形变场的关系；
基于所述第二图像对与所述第一图像对之间的形变场的关系确定所述训练样本的自约束条件，将所述自约束条件作为所述形变场复合自约束条件LossDeformation；或者，
当所述训练样本包括多个第二图像对时，将每组训练样本中的所述第一图像对对应的形变场作用于所述第一图像对中的移动图像，生成配准后的移动图像；
将配准后的移动图像与所述第一图像对中的参考图像进行匹配得到第一配准等式；
将每个所述第二图像对对应的形变场作用于每个第二图像对的移动图像，生成配准后的移动图像；
将每个配准后的移动图像与每个所述第二图像对中的参考图像进行匹配，得到多个所述第二图像对对应的第二配准等式；
将每个所述第二配准等式与所述第一配准等式结合，得到每个所述第二图像对与第一图像对之间的形变场的关系；
基于每个所述第二图像对与所述第一图像对之间的形变场的关系确定多个自约束条件，将所述多个自约束条件进行叠加，得到总的自约条件；
将所述总的自约束条件作为所述形变场复合自约束条件LossDeformation。
通过采用上述技术方案，相对于单一的采用正向和逆向形变场复合的方式实现自约束的方法来说，本申请采用基于形变场复合可复合假设以及图像仿射变换的扩增方法，提出了丰富的形变场定量化自约束损失，从而使得图像配准网络模型的适用范围更加广泛，性能更加稳定。
可选的，基于多个所述形变场计算每个所述训练样本中的配准损失，包括：
基于所述第一图像对中的参考图像勾画区域的mask以及配准后的移动图像勾画区域的mask计算DSC系数；
基于DSC系数确定第一轮廓约束LossContour1；
基于每个所述第二图像对中的参考图像勾画区域的mask以及配准后的移动图像勾画区域的mask计算DSC系数；
基于DSC系数确定第二轮廓约束LossContour2；
对所述第一轮廓约束LossContour1和所有的所述第二轮廓约束LossContour2进行求和，得到总的轮廓约束；
将所述总的轮廓约束作为所述轮廓约束条件LossContour；
基于所述第一图像对对应的形变场计算各个像素位置
Figure BDA0003813962630000041
的
Figure BDA0003813962630000042
的第一雅可比行列式；
基于所述第一雅可比行列式确定第一形变场连续性约束LossContinuous1；
基于每个所述第二图像对对应的形变场计算各个像素位置
Figure BDA0003813962630000043
的
Figure BDA0003813962630000044
的第二雅可比行列式；基于所述第二雅可比行列式确定第二形变场连续性约束LossContinuous2；
对所述第一形变场连续性约束LossContinuous1和所有的所述第二形变场连续性约束LossContinuous2进行求和，得到形变场连续性约束条件LossContinuous；
基于互信息计算公式计算所述第一图像对中的参考图像和移动图形的第一互信息，基于所述第一互信息计算第一相似性损失LossSimilarity1；
基于互信息计算公式计算每个所述第二图像对中的参考图像和移动图形的第二互信息，基于所述第二互信息计算第二相似性损失LossSimilarity2；
对所述第一相似性损失LossSimilarity1和所有的所述第二相似性损失LossSimilarity2求和，得到所述相似性损失LossSimilarity。
可选的，所述基于所述形变场复合自约束条件和所述配准损失计算每组所述训练样本的网络损失，包括：
将所述形变场复合自约束条件和所述配准损失输入损失函数：
Loss＝LossDeformation+αLossSimilarity+βLossContour+γLossContinuous中，计算每组所述训练样本的网络损失，其中，α、β和γ是指定的超参数，用于控制不同损失占总体损失的权重，LossDeformation为形变场复合自约束条件，LossSimilarity为相似性损失，LossContour为轮廓约束条件，LossContinuous为形变场连续性约束条件。
第二方面，本申请提供一种图像配准方法，采用如下的技术方案：
一种图像配准方法，包括：
获取待配准图像和参考图像；
将所述待配准图像输和参考图像入至通过权利要求1～6中任意一项所述的一种图像配准网络模型训练方法训练好的图像配准网络模型中，得到所述待配准图像输和所述参考图像的形变场；
基于所述形变场对所述待配准图像进行配准，得到所述待配准图像和所述参考图像的配准结果。
通过采用上述技术方案，通过增加形变场复合自约束条件对图像配准网络模型进行训练，当通过训练好的图像配准网络对待配准图像输和参考图像进行配准时，可以提高图像配准时的配准结果的准确性。
第三方面，本申请提供一种电子设备，采用如下的技术方案：
一种电子设备，包括处理器，所述处理器与存储器耦合；
所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如第一方面或第二方面任一项所述的方法。
第四方面，本申请提供一种计算机可读存储设备，采用如下的技术方案：
一种计算机可读存储设备，包括计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得所述计算机执行如第一方面或第二方面任一项所述的方法。
附图说明
图1是本申请实施例中体现一种图像配准网络模型训练方法的示意图。
图2是本申请实施例中体现在整体勾画区域和勾画轮廓的结构示意图。
图3是本申请实施例中体现一种图像配准方法的示意图。
图4是本申请实施例中体现一种电子设备300的示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例提供一种图像配准网络模型训练方法，该图像配准网络模型训练方法可由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、台式计算机等，但并不局限于此。
如图1所示，一种图像配准网络模型训练方法，其方法的主要流程描述如下(步骤S101～S107)：
步骤S101，获取训练样本集，训练样本集包括多个第一图像对，第一图像对包括不同模态的两张医学图像；
训练样本集中的医学图像的类型包括但不限于CT图像、MR图像以及PET图像。其中，每个第一图像对中的两个医学图像均为不同模态，例如，其中一张医学图像为CT图像，另一张医学图像为MR图像。
需要说明的是，每个第一图像对中的医学图像为同一病人同一解析部位的两张医学图像，在本实施例中，对两种不同模的医学图像进行图像配准时，训练样本集中会存在多个这两个模态的第一图像对，例如，多个CT图像和MR图像的图像对。
步骤S102，对每个第一图像对中的两张医学图像进行处理，得到每个第一图像对对应的一组训练样本，其中，每组训练样本包括多张医学图像；
在对图像配准网络模型进行训练时，每次只加载一对第一图像对，但是会对第一图像对中的两张医学图像进行处理，得到多张医学图像，并将多张医学图像组成一组训练样本。
具体的，选择其中一张医学图像作为参考图像，另一张医学图像作为移动图像；对参考图像和/或移动图像进行扩增处理得到至少一张扩增图像；将参考图像、移动图像以及至少一张扩增图像组成一组训练样本。
当电子设备每次获取一个第一图像对时，会选择其中一个图像作为参考图像，另一张图像作为医学图像，在本实施例中，可以只对参考图像或移动图像进行扩增处理，还可以对参考图像和移动图像同时进行扩增处理；可以分别对参考图像和移动图像只进行一次扩增处理，还可以分别对参考图像和移动图像进行多次扩增处理，对此不做具体限定。其中，扩增处理包括对参考图像或移动图像进行随机的旋转平移和拉伸操作，从而到多张医学图像，进而增加每组训练样本中数据的多样性，确保图像配准网络模型能够获取对旋转、平移和拉伸不变性的稳定的配准密切相关的特征，指导图像配准网络模型的训练优化过程，确保图像配准网络模型可以处理大的形变、拉伸的情况。
下面对参考图像和移动图像进行说明：
当将图像A配准到图像B时，那么A图像为移动图像，B图像为参考图像；当将图像B配准到图像A时，那么B图像为移动图像，A图像为参考图像。
步骤S103，将每组训练样本分别输入图像配准网络模型中进行配准，得到多个形变场；
在本实施中，图像配准网络模型可以为Transformer网络模型，还可以为其他网络模型，对此不做具体限定。
下面分别针对训练样本包含一张扩增图像和多张扩增图像的情况对形变场进行说明。
(一)训练样本包含一张扩增图像当训练样本包括一张扩增图像时，将训练样本中的所有医学图像两两组合形成一个第一图像对和一个第二图像对，其中，第二图像对包括一参考图像和一移动图像对应的扩增图像或一移动图像和一参考图像对应的扩增图像；将第一图像对和第二图像对分别输入图像配准网络模型中，生成一个第一图像对对应的形变场和一个第二图像对对应的形变场；
在本实施例中，以扩增图像是移动图像对应的扩增图像为例进行说明，此时训练样本包括一张参考图像、一张移动图像和一张移动图像对应的扩增图像，其中，参考图像用F表示，移动图像用M表示，移动图像对应的扩增图像用A1(M)表示，训练样本中存在一个第一图像对{M，F}，一个第二图像对{A1(M)，F}，将第一图像对输入图像配准网络模型中得到一个形变场φ1，将第二图像对输入图像配准网络模型中得到一个形变场φ2。
(二)训练样本包含多张扩增图像
当训练样本包括多张扩增图像时，将训练样本中的所有医学图像两两组合形成一个第一图像对和多个第二图像对，其中，每个第二图像对均包括一参考图像和一移动图像，其中，每个第二图像对中的参考图像和移动图像至少一个为扩增图像；将第一图像对和多个第二图像对分别输入图像配准网络模型中，生成一个第一图像对对应的形变场和每个第二图像对对应的形变场。
在本实施例中，以两个扩增图像为例进行说明，其中一个扩增图像为参考图像对应的扩增图像，另一个扩增图像为移动图像对应的扩增图像，此时训练样本包括一张参考图像、一张移动图像和两张扩增图像，其中，参考图像用F表示，移动图像用M表示，移动图像对应的扩增图像用A1(M)表示，参考图像对应的扩增图像为A2(F),训练样本中存在一个第一图像对{M，F}，三个第二图像对{A1(M)，F}、{M，A2(F)}和{A1(M)，A2(F)}，将第一图像对输入图像配准网络模型中得到一个形变场φ1，将三个第二图像对分别输入图像配准网络模型中得到三个形变场φ2、φ3和φ4。
需要说明的是，多组训练样本中第二图像对的数量可以相同，还可以不同，对此不做具体限定。
步骤S104，基于多个形变场计算每个训练样本中的形变场复合自约束条件和配准损失，配准损失包括相似性损失、形变场连续性的约束条件以及轮廓约束条件；
下面分别针对计算每组训练样本的形变场复合自约束条件，相似性损失、形变场连续性的约束条件以及轮廓约束条件进行说明：
关于形变场复合自约束条件，在本实施例中以训练样本包含一个第二图像对和多个第二图像对的情况进行说明。
(一)训练样本包含一个第二图像对
具体包括以下步骤(步骤S1041a～步骤S1046a)：
步骤S1041a，当训练样本包括一个第二图像对时，将训练样本中的第一图像对对应的形变场作用于第一图像对中的移动图像，生成配准后的移动图像；
步骤S1042a，将配准后的移动图像与第一图像对中的参考图像进行匹配得到第一配准等式；步骤S1043a，将第二图像对对应的形变场作用于第二图像对的移动图像，生成配准后的移动图像；
步骤S1044a，将配准后的移动图像与第二图像对中的参考图像进行匹配，得到第二图像对对应的第二配准等式；
步骤S1045a，将第二配准等式与第一配准等式结合，得到第二图像对与第一图像对之间的形变场的关系；
步骤S1046a，基于第二图像对与第一图像对之间的形变场的关系确定训练样本的自约束条件，将自约束条件作为形变场复合自约束条件LossDeformation；
在本实施例中，以步骤S103的数据为例进行说明，第一图像对对应的形变场为φ1，参考图像为F,移动图像为M，将形变场φ1作用于移动图像M，生成配准后的移动图像为φ1(M)，第一配准等式为φ1(M)＝F。
第二图像对对应的形变场为φ2,第二图像对中的移动图像为扩增图像A1(M)，参考图像为F,将形变场φ2作用于移动图像A1(M)生成配准后的移动图像为φ2(A1(M))，生成的第二配准等式为φ2(A1(M))＝F。
对第一配准等式和第二配准等式进行处理得到第二图像对与第一图像对之间的形变场的关系为φ2(A1)＝φ1，基于第二图像对与第一图像对之间的形变场的关系确定本组训练样本的自约束条件为‖φ2(A1)-φ1‖2,由于本组训练样本只有一个第二图像对，所以本组的训练样本的形变场复合自约束条件LossDeformation为‖φ2(A1)-φ1‖2。
(二)训练样本包含多个第二图像对
具体包括以下步骤(步骤S1041b～步骤S1047b)：
步骤S1041b，当训练样本包括多个第二图像对时，将每组训练样本中的第一图像对对应的形变场作用于第一图像对中的移动图像，生成配准后的移动图像；
步骤S1042b，将配准后的移动图像与第一图像对中的参考图像进行匹配得到第一配准等式；
步骤S1043b，将每个第二图像对对应的形变场作用于每个第二图像对的移动图像，生成配准后的移动图像；
步骤S1044b，将每个配准后的移动图像与每个第二图像对中的参考图像进行匹配，得到多个第二图像对对应的第二配准等式；
步骤S1045b，将每个第二配准等式与第一配准等式结合，得到每个第二图像对与第一图像对之间的形变场的关系；
步骤S1046b，基于每个第二图像对与第一图像对之间的形变场的关系确定多个自约束条件，将多个自约束条件进行叠加，得到总的自约条件；
步骤S1047b，将总的自约束条件作为形变场复合自约束条件LossDeformation。
在本实施例中，同样以步骤S103中的数据为例进行说明，第一图像对对应的形变场为φ1，参考图像为F，移动图像为M，将形变场φ1作用于移动图像M，生成配准后的移动图像为φ1(M)，第一配准等式为φ1(M)＝F。
形变场φ2对应的参考图像为F，移动图像为A1(M)，将形变场φ2作用于移动图像A1(M)，生成配准后的移动图像为φ2(A1(M))，第一配准等式为φ2((A1)M)＝F，对第一配准等式和第二配准等式进行处理得到第二图像对与第一图像对之间的形变场的关系为φ2(A1)＝φ1，基于本个第二图像对与第一图像对之间的形变场的关系确定本个第二图像对与第一图像对的自约束条件为‖φ2(A1)-φ1‖2,本个第二图像对与第一图像对的合自约束条件LossDeformation为‖φ2(A1)-φ1‖2。
形变场φ3对应的参考图像为A2(F)，移动图像为M，将形变场φ3作用于移动图像M，生成配准后的移动图像为φ3(M)，第二配准等式为φ3(M)＝A2(F)，对第一配准等式和第二配准等式进行处理得到第二图像对与第一图像对之间的形变场的关系为A2(φ1(M))＝φ3(M)，基于本个第二图像对与第一图像对之间的形变场的关系确定本个第二图像对与第一图像对的自约束条件为‖A2(φ1)-φ3‖2。
形变场φ4对应的参考图像为A2F，移动图像为A1(M)，将形变场φ4作用于移动图像A1(M)，生成配准后的移动图像为φ4(A1(M))，第二配准等式为φ4(A1(M))＝A2(F)，对第一配准等式和第二配准等式进行处理得到第二图像对与第一图像对之间的形变场的关系为A2(φ1(M))＝A2(φ1(M))，基于本个第二图像对与第一图像对之间的形变场的关系确定本个第二图像对与第一图像对的自约束条件为‖φ4(A1)-A2(φ1)‖2。
将所有的自约束条件相加得到本组训练样本的复合自约束条件LossDeformation为‖φ2(A1)-φ1‖2+‖A2(φ1)-φ3‖2+‖φ4(A1)-A2(φ1)‖2。
特别说明的是，当训练样本中包含多个第二图像对时，按照上述方法计算每对第二图像对的自约束条件，将第一图像对的自约束条件和所有第二图像对的自约束条件相加，得到本组训练样本的复合自约束条件LossDeformation。
关于轮廓约束条件LossContour的计算具体如下：
基于第一图像对中的参考图像勾画区域的mask以及配准后的移动图像勾画区域的mask计算DSC系数；基于DSC系数确定第一轮廓约束LossContour1；基于每个第二图像对中的参考图像勾画区域的mask以及配准后的移动图像勾画区域的mask计算DSC系数；基于DSC系数确定第二轮廓约束LossContour2；对第一轮廓约束LossContour1和所有的第二轮廓约束LossContour2进行求和，得到总的轮廓约束；将总的轮廓约束作为轮廓约束条件LossContour；LossContour在形变比较大的勾画区域内，采用形变前后轮廓Dice损失计算，而在相对稳定区域采用整理勾画区域的Dice损失计算，也可以采用二者叠加的结果作为结构约束损失。
在具备某些器官或者组织标注信息的基础上，基于整体勾画区域的轮廓损失是指利用如图2左侧(a)图所示的参考图像勾画的区域的mask与形变后移动图像勾画区域mask计算DSC(Dice系数)，其对应的结构损失为1-DSC。图2右侧(b)图为图像勾画区域边界mask信息，它是由勾画区域mask向外扩3mm后的结果mask1与勾画区域向内缩3mm后获得的mask2，进行非运算后得到的。利用参考图像勾画区域边界mask与形变后的移动图像勾画区域边界mask信息计算其DSC，对应的结构损失为1-DSC。
其中，DSC(Dice similarity coefficient)也叫做Dice系数，用于衡量两个二值化图A，B的重合程度DSC(A,B)。在本实施例中，A表示参考图像上某一个危及器官的标注的二值化图，危及器官部分标注为1，其他部分标注为0；B表示再移动图像熵标记同一危及器官，经过形变场变形后的二值化图，其中危及器官标注为1，其他部分标注为0，mask即为参考图像或移动图像勾画部分的二值化图。
需要说明的是，mask通常叫做掩膜，mask通常是利用自动分割技术或者医生手动标记的，其中mask可以设置不同颜色，显示在CT图像上，方便观察。
DSC其计算公式如下所示：
Figure BDA0003813962630000111
就是做出正确分割部分所占比例，分割越好，则DSC越大。
如果将其作为LossContour，需要LossContour＝1-DSC(A,B)
为了强调对标注区域轮廓的变化的跟随能力，在使用危及器官标注的计算DiceLoss基础上，还可以引入对轮廓Dice组成部分：
Figure BDA0003813962630000112
Border(A)＝Dilate(A，3)∩(～Dilate(A，-3))
其中Border是提取轮廓mask的操作，以Border(A)为例说明，是将轮廓A首先外扩3mm得到Dilate(A，3)，然后将轮廓内缩3mm得到Dilate(A，-3)，然后对Dilate(A，-3)求反(～Dilate(A，-3))，将外扩和内缩求反的结果进行与操作，就能获得危及器官标注的轮廓mask信息，进而可按照公式Border(A)＝Dilate(A，3)∩(～Dilate(A，-3))计算轮廓约束损失。
需要说明的是，每组训练样本的轮廓约束条件LossContour是将第一图像对和所有第二图像对的轮廓约束条件相加得到的。
关于形变场连续性约束条件LossContinuous的计算具体如下：
基于第一图像对对应的形变场计算各个像素位置
Figure BDA0003813962630000113
的
Figure BDA0003813962630000114
的第一雅可比行列式；基于第一雅可比行列式确定第一形变场连续性约束LossContinuous1；基于每个第二图像对对应的形变场计算各个像素位置
Figure BDA0003813962630000115
的
Figure BDA0003813962630000116
的第二雅可比行列式；基于第二雅可比行列式确定第二形变场连续性约束LossContinuous2；对第一形变场连续性约束LossContinuous1和所有的第二形变场连续性约束LossContinuous2进行求和，得到形变场连续性约束条件LossContinuous；LossContinupus主要用于约束刚性结构比较好的勾画范围点的形变场的不能出现折叠。
利用形变场φ计算各个像素位置
Figure BDA0003813962630000117
处的形变场的
Figure BDA0003813962630000118
的Jacobian矩阵即雅可比行列式：
Figure BDA0003813962630000121
若要形变场没有折叠现象发生，需要让Jacobian行列式的值
Figure BDA0003813962630000122
大于0，即det
Figure BDA0003813962630000123
为了确保形变场不出现折叠现象，需要考察每个像素位置的Jacobian行列式的值，如果该值大于零，行列式损失
Figure BDA0003813962630000124
最小为零；如果行列式的值小于等于零则损失
Figure BDA0003813962630000125
最大值为1，形变场整体的loss是所有点行列式损失的平均值。
其计算公式如下：
Figure BDA0003813962630000126
Figure BDA0003813962630000127
需要说明的是，每组训练样本的形变场连续性约束条件LossContinuous是将第一图像对和所有第二图像对的形变场连续性约束相加得到的。
关于相似性损失LossSimilarity的计算具体如下：
基于互信息计算公式计算第一图像对中的参考图像和移动图形的第一互信息，基于第一互信息计算第一相似性损失LossSimilarity1；基于互信息计算公式计算每个第二图像对中的参考图像和移动图形的第二互信息，基于第二互信息计算第二相似性损失LossSimilarity2；对第一相似性损失LossSimilarity1和所有的第二相似性损失LossSimilarity2求和，得到相似性损失LossSimilarity。
互信息I(A,B)是衡量两个随机变量相关程度，也可以用于计算图像相似性。其中A是参考图像，B是利用形变场变形后得移动图像，互信息计算公式为：
Figure BDA0003813962630000128
LossSimilarity(A，B)＝2-I(A，B)
由于互信息是在[0,2)之间分布的，所以相似性损失LossSimilarity2-I(A，B)，用于满足相似性损失越小，图像越相似。
H(A)表示参考图像的熵，H(B)表示形变场变形后得移动图像的熵，他们分别是由图像的单边概率密度PA(a)，PB(b)计算获得。H(a，b)是交叉熵，由两者的联合概率密度PAB(a，b)计算获得，单边概率密度PA(a)是利用统计直方图计算获得，PAB(a，b)是联合统计直方图计算获的。如果想要获得对形变场连续可导的互信息，再计算统计直方图的时候可以加入Parzen窗，就是当前位置x处像素值为B(x)，B(x)不仅对落入的bin有贡献，还对相邻的几个bin也有贡献，具体贡献值可利用N阶B样条函数确定，进行联合直方图计算，然后再计算单边的统计直方图。
需要说明的是，每组训练样本的相似性损失LossSimilarity是将第一图像对和所有第二图像对的互信息相加得到的，其中，相似性损失LossSimilarity的损失越小表示图像越相似；互信息以及相关系数等相似性损失越大图像越相似。
步骤S105，基于形变场复合自约束条件和配准损失计算每组训练样本的网络损失；具体的，将形变场复合自约束条件和配准损失输入损失函数：
Loss＝LossDeformation+αLossSimilarity+βLossContour+γLossContinuous中，计算每组训练样本的网络损失，其中，α、β和γ是指定的超参数，用于控制不同损失占总体损失的权重，LossDeformation为形变场复合自约束条件，LossSimilarity为相似性损失，LossContour为轮廓约束条件，LossContinuous为形变场连续性约束条件。
步骤S106，利用每组训练样本的网络损失调整图像配准网络模型的参数；
步骤S107，重复执行输入训练样本、计算网络损失和调整参数的步骤，直到网络损失达到预设收敛条件时，对图像配准网络模型训练结束，得到训练好的图像配准网络模型。
在本实施例中，利用训练样本集生成的多组训练样本对图像配准网络模型进行训练，其中每组训练样本均对应于一个网络损失，利用多个网络损失进行反向传播，对图像配准网络模型的参数进行更新，重复执行步骤S103～步骤S106，当网络损失达到预设收敛条件时，停止对图像配准网络模型的训练，得到训练好的图像配准网络模型。
如图3所示，本申请实施例提供一种图像配准方法，其方法的主要流程描述如下(步骤S201～S203)：
步骤S201，获取待配准图像和参考图像；
步骤S202，将待配准图像输和参考图像入一种图像配准网络模型训练方法训练好的图像配准网络模型中，得到待配准图像输和参考图像的形变场；
步骤S203，基于形变场对待配准图像进行配准，得到待配准图像和参考图像的配准结果。
在本实施例中，在电子设备得到获取待配准图像和参考图像之后，将待配准图像作为移动图像与参考图像输入图像配准网络模型中，可以得到待配准图像输和参考图像的形变场，将形变场作用于待配准图像上可以得到配准结果。
图4为本申请实施例提供的一种电子设备300的结构框图。如图4所示，电子设备300包括存储器301、处理器302和通信总线303；存储器301、处理器302通过通信总线303相连。存储器301上存储有能够被处理器302加载并执行如上述实施例提供的一种图像配准网络模型训练方法或一种图像配准方法。
存储器301可用于存储指令、程序、代码、代码集或指令集。存储器301可以包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令以及用于实现上述实施例提供的一种图像配准网络模型训练方法或一种图像配准方法的指令等；存储数据区可存储上述实施例提供的一种图像配准网络模型训练方法或一种图像配准方法中涉及到的数据等。
处理器302可以包括一个或者多个处理核心。处理器302通过运行或执行存储在存储器301内的指令、程序、代码集或指令集，调用存储在存储器301内的数据，执行本申请的各种功能和处理数据。处理器302可以为特定用途集成电路(Application SpecificIntegrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器302功能的电子器件还可以为其它，本申请实施例不作具体限定。
通信总线303可包括一通路，在上述组件之间传送信息。通信总线303可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。通信总线303可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双箭头表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例提供一种计算机可读存储设备，存储有能够被处理器加载并执行如上述实施例提供的一种图像配准网络模型训练方法或一种图像配准方法的计算机程序。
本实施例中，计算机可读存储设备可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储设备可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。具体的，计算机可读存储介质可以是便携式计算机盘、硬盘、U盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、讲台随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、光盘、磁碟、机械编码设备以及上述任意组合。
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (6)

1.一种图像配准网络模型训练方法，其特征在于，包括：
获取训练样本集，所述训练样本集包括多个第一图像对，所述第一图像对包括不同模态的两张医学图像；
对每个所述第一图像对中的两张医学图像进行处理，得到每个所述第一图像对对应的一组训练样本，其中，每组所述训练样本包括多张医学图像；
将每组所述训练样本分别输入图像配准网络模型中进行配准，得到多个形变场；
基于多个所述形变场计算每个所述训练样本中的形变场复合自约束条件和配准损失，所述配准损失包括相似性损失、形变场连续性的约束条件以及轮廓约束条件；
基于所述形变场复合自约束条件和所述配准损失计算每组所述训练样本的网络损失；
利用每组所述训练样本的网络损失调整所述图像配准网络模型的参数；
重复执行输入所述训练样本、计算所述网络损失和调整参数的步骤，直到所述网络损失达到预设收敛条件时，对所述图像配准网络模型训练结束，得到训练好的图像配准网络模型；
所述对每个所述第一图像对中的两张医学图像进行处理，得到每个所述第一图像对对应的一组训练样本，包括：
选择其中一张医学图像作为参考图像，另一张医学图像作为移动图像；
对所述参考图像和/或所述移动图像进行扩增处理得到至少一张扩增图像；
将所述参考图像、所述移动图像以及所述至少一张扩增图像组成一组训练样本；
所述将每组所述训练样本分别输入图像配准网络模型中进行配准，得到多个形变场，包括：当所述训练样本包括一张扩增图像时，将所述训练样本中的所有医学图像两两组合形成一个所述第一图像对和一个第二图像对，其中，所述第二图像对包括一参考图像和一移动图像对应的扩增图像或一移动图像和一参考图像对应的扩增图像；
将所述第一图像对和所述第二图像对分别输入所述图像配准网络模型中，生成一个所述第一图像对对应的形变场和一个所述第二图像对对应的形变场；或者，
当所述训练样本包括多张扩增图像时，将所述训练样本中的所有医学图像两两组合形成一个所述第一图像对和多个第二图像对，其中，每个所述第二图像对均包括一参考图像和一移动图像，其中，每个所述第二图像对中的参考图像和移动图像至少一个为扩增图像；
将所述第一图像对和多个所述第二图像对分别输入所述图像配准网络模型中，生成一个所述第一图像对对应的形变场和每个所述第二图像对对应的形变场；
所述基于多个所述形变场计算每个所述训练样本中的形变场复合自约束条件，包括：
当所述训练样本包括一个第二图像对时，将所述训练样本中的所述第一图像对对应的形变场作用于所述第一图像对中的移动图像，生成配准后的移动图像；
将配准后的移动图像与所述第一图像对中的参考图像进行匹配得到第一配准等式；
将所述第二图像对对应的形变场作用于第二图像对的移动图像，生成配准后的移动图像；
将配准后的移动图像与所述第二图像对中的参考图像进行匹配，得到第二图像对对应的第二配准等式；
将所述第二配准等式与所述第一配准等式结合，得到所述第二图像对与所述第一图像对之间的形变场的关系；
基于所述第二图像对与所述第一图像对之间的形变场的关系确定所述训练样本的自约束条件，将所述自约束条件作为所述形变场复合自约束条件LossDeformation；或者，
当所述训练样本包括多个第二图像对时，将每组训练样本中的所述第一图像对对应的形变场作用于所述第一图像对中的移动图像，生成配准后的移动图像；
将配准后的移动图像与所述第一图像对中的参考图像进行匹配得到第一配准等式；
将每个所述第二图像对对应的形变场作用于每个第二图像对的移动图像，生成配准后的移动图像；
将每个配准后的移动图像与每个所述第二图像对中的参考图像进行匹配，得到多个所述第二图像对对应的第二配准等式；
将每个所述第二配准等式与所述第一配准等式结合，得到每个所述第二图像对与第一图像对之间的形变场的关系；
基于每个所述第二图像对与所述第一图像对之间的形变场的关系确定多个自约束条件，将所述多个自约束条件进行叠加，得到总的自约条件；
将所述总的自约束条件作为所述形变场复合自约束条件LossDeformation。
2.根据权利要求1所述的方法，其特征在于，基于多个所述形变场计算每个所述训练样本中的配准损失，包括：
基于所述第一图像对中的参考图像勾画区域的mask以及配准后的移动图像勾画区域的mask计算DSC系数；
基于DSC系数确定第一轮廓约束LossContour1；
基于每个所述第二图像对中的参考图像勾画区域的mask以及配准后的移动图像勾画区域的mask计算DSC系数；
基于DSC系数确定第二轮廓约束LossContour2；
对所述第一轮廓约束LossContour1和所有的所述第二轮廓约束LossContour2进行求和，得到总的轮廓约束；
将所述总的轮廓约束作为所述轮廓约束条件LossContour；
基于所述第一图像对对应的形变场计算各个像素位置
Figure FDA0004057766440000031
的
Figure FDA0004057766440000032
的第一雅可比行列式；
基于所述第一雅可比行列式确定第一形变场连续性约束LossContinuous1；
基于每个所述第二图像对对应的形变场计算各个像素位置
Figure FDA0004057766440000033
的
Figure FDA0004057766440000034
的第二雅可比行列式；基于所述第二雅可比行列式确定第二形变场连续性约束LossContinuous2；
对所述第一形变场连续性约束LossContinuous1和所有的所述第二形变场连续性约束LossContinuous2进行求和，得到形变场连续性约束条件LossContinuous；
基于互信息计算公式计算所述第一图像对中的参考图像和移动图形的第一互信息，基于所述第一互信息计算第一相似性损失LossSimilarity1；
基于互信息计算公式计算每个所述第二图像对中的参考图像和移动图形的第二互信息，基于所述第二互信息计算第二相似性损失LossSimilarity2；
对所述第一相似性损失LossSimilarity1和所有的所述第二相似性损失LossSimilarity2求和，得到所述相似性损失LossSimilarity。
3.根据权利要求2所述的方法，其特征在于，所述基于所述形变场复合自约束条件和所述配准损失计算每组所述训练样本的网络损失，包括：
将所述形变场复合自约束条件和所述配准损失输入损失函数：Loss＝LossDeformation+αLossSimilarity+βLossContour+γLossContinuous中，计算每组所述训练样本的网络损失，其中，α、β和γ是指定的超参数，用于控制不同损失占总体损失的权重，LossDeformation为形变场复合自约束条件，LossSimilarity为相似性损失，LossContour为轮廓约束条件，LossContinuous为形变场连续性约束条件。
4.一种图像配准方法，其特征在于，包括：
获取待配准图像和参考图像；
将所述待配准图像输和参考图像入至通过权利要求1～3中任意一项所述的一种图像配准网络模型训练方法训练好的图像配准网络模型中，得到所述待配准图像输和所述参考图像的形变场；
基于所述形变场对所述待配准图像进行配准，得到所述待配准图像和所述参考图像的配准结果。
5.一种电子设备，其特征在于，包括处理器，所述处理器与存储器耦合；
所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如权利要求1至4任一项所述的方法。
6.一种计算机可读存储设备，其特征在于，包括计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得所述计算机执行如权利要求1至4任一项所述的方法。
CN202211024435.0A 2022-08-24 2022-08-24 图像配准网络模型的训练方法、图像配准方法及设备 Active CN115393402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211024435.0A CN115393402B (zh) 2022-08-24 2022-08-24 图像配准网络模型的训练方法、图像配准方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211024435.0A CN115393402B (zh) 2022-08-24 2022-08-24 图像配准网络模型的训练方法、图像配准方法及设备

Publications (2)

Publication Number Publication Date
CN115393402A CN115393402A (zh) 2022-11-25
CN115393402B true CN115393402B (zh) 2023-04-18

Family

ID=84123138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211024435.0A Active CN115393402B (zh) 2022-08-24 2022-08-24 图像配准网络模型的训练方法、图像配准方法及设备

Country Status (1)

Country Link
CN (1) CN115393402B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523983B (zh) * 2023-06-26 2023-10-27 华南师范大学 融合多路径特征与器官形态导向的胰腺ct图像配准方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992411A (zh) * 2019-12-04 2020-04-10 图玛深维医疗科技(北京)有限公司 图像配准模型的训练方法和装置
CN111292362A (zh) * 2018-12-19 2020-06-16 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111862175A (zh) * 2020-07-13 2020-10-30 清华大学深圳国际研究生院 一种基于循环正则训练的跨模态医学图像配准方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3836814B2 (ja) * 2003-05-20 2006-10-25 株式会社東芝 画像処理方法、画像処理装置、画像処理プログラム
US9305358B2 (en) * 2013-07-01 2016-04-05 Kabushiki Kaisha Toshiba Medical image processing
US11723617B2 (en) * 2016-02-03 2023-08-15 4DMedical Limited Method and system for imaging
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US11158069B2 (en) * 2018-12-11 2021-10-26 Siemens Healthcare Gmbh Unsupervised deformable registration for multi-modal images
CN111210467A (zh) * 2018-12-27 2020-05-29 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110211111B (zh) * 2019-05-31 2024-08-30 上海联影医疗科技股份有限公司 一种血管提取的方法、装置、图像处理设备及存储介质
CN110827331B (zh) * 2019-11-04 2022-07-26 上海联影智能医疗科技有限公司 图像配准模型的训练方法、图像配准方法和计算机设备
CN110838139B (zh) * 2019-11-04 2022-10-25 上海联影智能医疗科技有限公司 图像配准模型的训练方法、图像配准方法和计算机设备
CN113808178A (zh) * 2020-06-11 2021-12-17 通用电气精准医疗有限责任公司 图像配准方法及其模型训练方法
CN114820861A (zh) * 2022-05-18 2022-07-29 北京医智影科技有限公司 基于CycleGAN的MR合成CT方法、设备和计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292362A (zh) * 2018-12-19 2020-06-16 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110992411A (zh) * 2019-12-04 2020-04-10 图玛深维医疗科技(北京)有限公司 图像配准模型的训练方法和装置
CN111862175A (zh) * 2020-07-13 2020-10-30 清华大学深圳国际研究生院 一种基于循环正则训练的跨模态医学图像配准方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
傅泽山 ; 秦斌杰 ; .联合显著图强化形变配准网络.中国医疗器械杂志.2019,(06),全文. *
王丽芳 ; 成茜 ; 秦品乐 ; 高媛 ; .基于多层P样条和稀疏编码的非刚性医学图像配准方法.计算机应用研究.2017,(08),全文. *
陈颖 ; 李绩鹏 ; 陈恒实 ; .灰度二次校正改进空间变换网络的遥感图像配准.中国科技论文.2020,(08),全文. *

Also Published As

Publication number Publication date
CN115393402A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
Eppenhof et al. Pulmonary CT registration through supervised learning with convolutional neural networks
Chung et al. Automatic lung segmentation with juxta-pleural nodule identification using active contour model and bayesian approach
Feng et al. Segmenting CT prostate images using population and patient‐specific statistics for radiotherapy
Mahapatra et al. Joint registration and segmentation of xray images using generative adversarial networks
Murakami et al. Automatic identification of bone erosions in rheumatoid arthritis from hand radiographs based on deep convolutional neural network
Rohé et al. Automatic multi-atlas segmentation of myocardium with svf-net
Al Arif et al. Shape-aware deep convolutional neural network for vertebrae segmentation
US9675317B2 (en) Interface identification apparatus and method
US20060122480A1 (en) Segmenting occluded anatomical structures in medical images
Richard et al. A new image registration technique with free boundary constraints: application to mammography
Wang Segmentation of multiple structures in chest radiographs using multi-task fully convolutional networks
US12106856B2 (en) Image processing apparatus, image processing method, and program for segmentation correction of medical image
US20190392552A1 (en) Spine image registration method
Jin et al. Object recognition in medical images via anatomy-guided deep learning
CN115393402B (zh) 图像配准网络模型的训练方法、图像配准方法及设备
Heinrich et al. MRI whole heart segmentation using discrete nonlinear registration and fast non-local fusion
CN111462145A (zh) 基于双权重符号压力函数的活动轮廓图像分割方法
US20090060332A1 (en) Object segmentation using dynamic programming
Matsuzaki et al. Automated anatomical labeling of abdominal arteries and hepatic portal system extracted from abdominal CT volumes
Dahiya et al. Integrated 3D anatomical model for automatic myocardial segmentation in cardiac CT imagery
WO2024169341A1 (zh) 一种多模态影像引导放射治疗的配准方法
Chaisangmongkon et al. External validation of deep learning algorithms for cardiothoracic ratio measurement
Gassman et al. Automated bony region identification using artificial neural networks: reliability and validation measurements
del Toro et al. Hierarchical multi–structure segmentation guided by anatomical correlations
Dréan et al. Inter-individual organ-driven CT registration for dose mapping in prostate cancer radiotherapy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant