CN116912299A - 运动分解模型的医学图像配准方法、装置、设备及介质 - Google Patents

运动分解模型的医学图像配准方法、装置、设备及介质 Download PDF

Info

Publication number
CN116912299A
CN116912299A CN202311080064.2A CN202311080064A CN116912299A CN 116912299 A CN116912299 A CN 116912299A CN 202311080064 A CN202311080064 A CN 202311080064A CN 116912299 A CN116912299 A CN 116912299A
Authority
CN
China
Prior art keywords
medical image
layer
residual deformation
deformation field
fixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311080064.2A
Other languages
English (en)
Inventor
王毅
王海桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202311080064.2A priority Critical patent/CN116912299A/zh
Publication of CN116912299A publication Critical patent/CN116912299A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种运动分解模型的医学图像配准方法、装置、设备及介质，其中方法包括：采集待配准的固定医学图像和移动医学图像，并对待配准的固定医学图像和移动医学图像进行预处理，得到初始医学图像数据；通过共享权重的编码模块提取初始医学图像数据中的结构化图像特征，得到移动特征图和固定特征图，其中，移动特征图和固定特征图均包括五层特征图；将每一层移动特征图和固定特征图依次输入至对应的估计器中，并在每一估计器中将所生成的残差变形场经过上采样后与总残差变形场进行融合，得到目标总残差变形场；根据目标总残差变形场将移动特征图进行配准，得到目标配准图像。本发明提高了医学图像配准的精准度。

Description

运动分解模型的医学图像配准方法、装置、设备及介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种运动分解模型的医学图像配准方法、装置、设备及介质。
背景技术
随着深度学习的发展，计算机辅助诊断技术也越来越成熟。其中，基于深度学习的医学图像配准也成为研究热点之一。医学图像配准在医学影像分析中具有重要的应用价值，在影像学诊断、手术导航和放射治疗计划等医学领域有众多的应用。传统医学图像配准方法已经在许多医疗领域中得到了广泛应用，例如图像导航、肿瘤切除手术中实现非侵入性导航等。未来，随着医疗技术和软件的不断发展和应用，传统医学图像配准方法在医学图像分析中的应用也将更加广泛和深入。但传统医学图像配准方法也存在一些问题和挑战，例如配准精度受到噪声和变形等因素的影响、大规模数据集的配准效率较低等。为解决这些挑战，近年来也出现了很多新的方法和技术，例如结合深度学习的医学图像配准方法、基于有监督和无监督学习的配准方法等。
现有的医学图像配准方法是将Transformer纳入配准框架，主要是为了增强特征，而没有深入探讨它们与配准或变形估计的关系，也很少有研究考虑注意机制与变形估计之间的关系。所以现有图像配准方法的医学图像配准精准度较低。
发明内容
本申请实施例的目的在于提出一种运动分解模型的医学图像配准方法、装置、设备及介质，以提高医学图像配准的精准度。
为了解决上述技术问题，本申请实施例提供一种运动分解模型的医学图像配准方法，包括：
采集待配准的固定医学图像和移动医学图像，并对所述待配准的固定医学图像和移动医学图像进行预处理，得到初始医学图像数据；
通过共享权重的编码模块提取所述初始医学图像数据中的结构化图像特征，得到移动特征图和固定特征图，其中，所述移动特征图和所述固定特征图均包括五层特征图；
将每一层所述移动特征图和所述固定特征图依次输入至对应的估计器中，并在每一所述估计器中将所生成的残差变形场经过上采样后与总残差变形场进行融合，得到目标总残差变形场，其中，每一所述估计器包括运动分解Transformer模块和重新生成模块；
根据所述目标总残差变形场将所述移动特征图进行配准，得到目标配准图像。
为了解决上述技术问题，本申请实施例提供一种运动分解模型的医学图像配准装置，包括：
医学图像数据采集单元，用于采集待配准的固定医学图像和移动医学图像，并对所述待配准的固定医学图像和移动医学图像进行预处理，得到初始医学图像数据；
图像特征提取单元，用于通过共享权重的编码模块提取所述初始医学图像数据中的结构化图像特征，得到移动特征图和固定特征图，其中，所述移动特征图和所述固定特征图均包括五层特征图；
残差变形场生成单元，用于每一层所述移动特征图和所述固定特征图依次输入至对应的估计器中，并在每一所述估计器中将所生成的残差变形场经过上采样后与总残差变形场进行融合，得到目标总残差变形场，其中，每一所述估计器包括运动分解Transformer模块和重新生成模块；
配准图像生成单元，用于根据所述目标总残差变形场将所述移动特征图进行配准，得到目标配准图像。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的运动分解模型的医学图像配准方法。
为解决上述技术问题，本发明采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的运动分解模型的医学图像配准方法。
本发明实施例提供了一种运动分解模型的医学图像配准方法、装置、设备及介质。其中，方法包括：采集待配准的固定医学图像和移动医学图像，并对所述待配准的固定医学图像和移动医学图像进行预处理，得到初始医学图像数据；通过共享权重的编码模块提取所述初始医学图像数据中的结构化图像特征，得到移动特征图和固定特征图，其中，所述移动特征图和所述固定特征图均包括五层特征图；将每一层所述移动特征图和所述固定特征图依次输入至对应的估计器中，并在每一所述估计器中将所生成的残差变形场经过上采样后与总残差变形场进行融合，得到目标总残差变形场，其中，每一所述估计器包括运动分解Transformer模块和重新生成模块；根据所述目标总残差变形场将所述移动特征图进行配准，得到目标配准图像。本发明实施例通过共享权重的编码模块对医学图像数据进行特征提取，并运动分解Transformer模块和重新生成模块对移动特征图和固定特征图生成目标总残差变形场，最后根据目标总残差变形场将移动特征图进行配准，得到目标配准图像，从而有利于提高医学图像配准的精准度。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的运动分解模型的医学图像配准方法流程的实现流程图；
图2是本申请实施例提供的总体架构示意图；
图3是本申请实施例提供的运动分解模型的医学图像配准方法中子流程实现流程图；
图4是本申请实施例提供的运动分解模型的医学图像配准方法中子流程实现流程图；
图5是本申请实施例提供的运动分解模型的医学图像配准方法中子流程实现流程图；
图6是本申请实施例提供的重新生成模块结构示意图；
图7是本申请实施例提供的运动分解Transformer模块结构示意图；
图8是本申请实施例提供的运动分解模型的医学图像配准方法中子流程实现流程图；
图9是本申请实施例提供的运动分解模型的医学图像配准方法中子流程实现流程图；
图10是本申请实施例提供的CUDA算子调用结构示意图；
图11是本申请实施例提供的运动分解模型的医学图像配准装置示意图；
图12是本申请实施例提供的计算机设备的示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
下面结合附图和实施方式对本发明进行详细说明。
需要说明的是，本申请实施例所提供的运动分解模型的医学图像配准方法一般由服务器执行，相应地，运动分解模型的医学图像配准装置一般配置于服务器中。
请参阅图1和图2，图1示出了运动分解模型的医学图像配准方法的一种具体实施方式，图2是本申请实施例提供的总体架构示意图。
需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限，该方法包括如下步骤：
S1：采集待配准的固定医学图像和移动医学图像，并对所述待配准的固定医学图像和移动医学图像进行预处理，得到初始医学图像数据。
本申请实施例中，医学图像可以为脑部磁共振图像和腹部CT图像，或者为其他医学图像。对医学图像进行随机分为固定医学图像和移动医学图像，并将其作为待配准的固定医学图像和移动医学图像；分别对待配准的固定医学图像和移动医学图像进行图像裁剪，得到裁剪后的医学图像数据，并对裁剪后的医学图像数据进行图像归一化处理，使得图像的灰度值在0至1之间，得到初始医学图像数据，其中，初始医学图像数据包括初始固定医学图像数据和初始移动医学图像数据。
S2：通过共享权重的编码模块提取所述初始医学图像数据中的结构化图像特征，得到移动特征图和固定特征图。其中，所述移动特征图和所述固定特征图均包括五层特征图。
本申请实施例中，编码模块包括五层共享权重的金字塔结构的编码器(L＝1,2,3,4,5)，其用于提取初始医学图像数据中的结构化图像特征。
请参阅图3，图3示出了步骤S2的一种具体实施方式，详叙如下：
S21：从所述初始医学图像数据中依次挑选两张图像，分别作为移动医学图像和固定医学图像。
S22：将所述移动医学图像和所述固定医学图像依次输入至所共享权重的编码模块中，通过第一层编码器将输入的所述移动医学图像和所述固定医学图像进行特征提取，得到初始第一层移动特征图和初始第一层移动特征图。
S23：通过两个卷积块对所述初始第一层移动特征图和所述初始第一层移动特征图进行特征处理，得到第一层移动特征图和第一层固定特征图。
本申请实施例中，从初始医学图像数据中依次挑选两张图像，分别作为移动医学图像和固定医学图像；将移动医学图像和固定医学图像依次输入至所共享权重的编码模块中。对于第一层编码器(L＝1)对应所输入的固定医学图像If和移动医学图像Im进行图像特征提取，初始第一层移动特征图和初始第一层移动特征图，该图像特征提取包括卷积层的卷积处理和泄露ReLU(LReLU)激活函数的激活处理。在第一次特征提取后，将特征图的通道维度增加到C。然后对初始第一层移动特征图和初始第一层移动特征图采用两个额外的卷积层、实例规范化(实例归一化)和LReLU处理，最终得到具有2C维度的第一层移动特征图F1和第一层固定特征图M1。
S24：通过后四层编码器依次对所述移动医学图像和所述固定医学图像进行特征提取，得到后四层移动特征图和后四层固定特征图。
请参阅图4，图4示出了步骤S24的一种具体实施方式，详叙如下：
S241：通过所述后四层编码器依次对所述移动医学图像和所述固定医学图像进行特征提取，得到初始后四层移动特征图和初始后四层固定特征。
S242：将任一所述初始后四层移动特征图和所述初始后四层固定特征进行平均池化下采样处理，得到后四层移动采样图和后四层固定采样图。
S243：分别通过两个卷积块对所述后四层移动采样图和所述后四层固定采样图进行特征提取，得到所述后四层移动特征图和所述后四层固定特征图。
本申请实施例中，对于后四层编码器(L＝2,3,4,5)的特征提取过程，其和第一层编码的特征提取过程不同的是特征图在被处理成2倍通道之前通过平均池化下采样，得到后四层移动采样图和后四层固定采样图。最终分别通过两个卷积块对后四层移动采样图和后四层固定采样图进行特征提取，得到后四层移动特征图(M2、M3、M4、M5)和后四层固定特征图(F2、F3、F4、F5)。
S3：将每一层所述移动特征图和所述固定特征图依次输入至对应的估计器中，并在每一所述估计器中将所生成的残差变形场经过上采样后与总残差变形场进行融合，得到目标总残差变形场。其中，每一所述估计器包括运动分解Transformer模块和重新生成模块。
本申请实施例中，采用金字塔配准结构,具有减少每个解码层需要的注意力计算范围的优点,从而减轻计算消耗。根据共享权重编码器产生的两个特征图组F1、F2、F3、F4、F5和M1、M2、M3、M4、M5。特征图M5和F5被发送到第一个估计器中,获得最粗糙的解码层的初始残差变形场φ1,作为总残差变形场φ的初始值。估计器由运动分解Transformer模块和重新生成模块组成。移动特征图M4使用上采样后的φ变形,变形后的移动特征图与F4一起送入估计器获得φ2。然后φ2与之前的总残差变形场进行融合得到更新后的φ，融合方法按如下公式：
其中，第s阶段在产生残差子场后，形变场会与融合产生形变场。特征图M3、M2、M1和F3、F2、F1经历相似的操作。最后,获得的总残差变形场φ用于配准移动图像Im,从而获得目标配准图像。
请参阅图5、图6和图7，图5示出了步骤S3的一种具体实施方式，图6是本申请实施例提供的重新生成模块结构示意图，图7是本申请实施例提供的运动分解Transformer模块结构示意图，详叙如下：
S31：将每一层所述移动特征图和所述固定特征图依次输入至对应的所述估计器中。
S32：在第一个估计器中的运动分解Transformer模块基于第五层移动特征图和第五层固定特征图生成初始残差变形场。
请参阅图8，图8示出了步骤S3的一种具体实施方式，详叙如下：
S321：通过所述第一个估计器中的运动分解Transformer模块获取所述第五层移动特征图和所述第五层固定特征图的特征映射，得到第五层移动映射图和第五层固定映射图。
S322：将所述第五层移动映射图和第五层固定映射图进行线性投影和层归一化处理，得到查询张量和键张量。
S223：将所述查询张量和所述键张量进行分割，得到分割后查询张量和分割后键张量。
S324：基于所述分割后查询张量和所述分割后键张量计算邻域注意力图，并基于所述邻域注意力图生成所述初始残差变形场。
本申请实施例中，在基于深度学习的配准网络中，低分辨率特征图中的位置p包含了原始图像中大面积的语义信息，因此通常可能具有多种不同运动模态的可能性。为了模拟这些可能性，本申请实施例采用多头邻域注意机制在低分辨率水平上分解不同的运动模式。
设F,M∈Rc×h×w×l表示来自分层编码器的第五层的固定和移动的特征映射，其中h,w,l表示特征映射的大小，c表示通道号。特征映射F和M经过线性投影(proj)和层归一化(LN)得到查询张量Q(query)和键张量K(key)。具体过程如下：
Q＝LN(proj(F)),K＝LN(proj(M))；
Q＝{Q(1),Q(2),…,Q(S)}；
K＝{K(1),K(2),…,K(S)}；
其中，投影运算为共享权值，权值初始化从N(0,1e-5)开始采样，偏差初始化为0。然后将查询张量Q和键张量K根据通道进行分割，S表示总的头数。
进一步地，提供步骤S324的一种具体实施方式，包括：通过零填充法对所述分割后键张量进行边界填充，得到填充后键张量；基于所述分割后查询张量和所述填充后键张量通过预设公式进行计算处理，得到所述邻域注意力图；基于所述邻域注意力图中加权的正则位移场，得到多个所述初始残差变形场。
本申请实施例中，用c(p)表示体素p的邻域。对于大小为n×n×n的邻域，||c(p)||＝n3。其中，预设公式:
其中，NA(p,s)为邻域注意力图，B∈RS×n×n×n是一个可学习的相对位置偏差，初始化为全零。在这个公式中当p处于Q的边界位置时，键张量K上的邻域范围会缩小，因此本申请实施例对K进行填充以统一邻域大小。由于配准任务有时需要视场外的体素移动到视场内，我们使用零填充法对键张量K进行边界填充。上述公式公式显示了如何计算p位置第s个头部的邻域注意力，从而分解低分辨率体素的语义信息，逐个计算相似度，为不同的运动模式建模做准备。此外，邻域注意力运算缩小了注意力计算的范围，减少了计算量，对体积处理非常友好。
进一步地，通过计算邻域关注图加权的正则位移场，得到这一层的多个子场:其中φs∈Rh×w×l×3，V∈Rn×n×n,V(值)表示邻域质心的相对位置坐标，无需学习，多头注意关系可以自然转化为多坐标关系。通过以上步骤，得到了这一层的一系列形变子场。
S33：通过所述第一个估计器中的重新生成模块基于所述初始残差变形场生成目标残差变形场，并将所述目标残差变形场作为所述初始总残差变形场。
请参阅图9，图9示出了步骤S33的一种具体实施方式，详叙如下：
S331：基于所述第一个估计器中的所述重新生成模块对所述初始残差变形场进行三通道卷积处理，得到卷积层输出结果。
S332：通过对所述卷积层输出结果进行缩放和平方处理，得到三通道的静态速度场。
S333：基于所述三通道的静态速度场生成所述目标残差变形场，并将所述目标残差变形场作为所述初始总残差变形场。
本申请实施例一个重新生成模块来重新生成变形场。重新生成模块包含一个带有核大小大于等于3的卷积层。卷积层的权重初始化为N(0,1e-5),偏置初始化为0。输入是来自运动分解Transformer的多重子场,输出是一个3通道的静态速度场。通过这种方式,在结合多种运动模式时提取邻域信息。在该模块中额外增加一个缩放和平方操作，采用静态速度场来保证微分同胚特性，例如可导，可逆和拓扑保持。形变场定义为关于时间t的常微分方程：
其中，t＝0时φ(0)是恒等变换，φ(1)就是本申请实施例所要的形变场。进一步，本申请实施例采用缩放和平方的方法来积分φ(t)从0到1，具体而言，通过以下循环得到：
具体地，对每级重新生成模块中的卷积层的输出，首先乘上作为初始的/>经过上式循环T次，最终得到该级的残差形变场φs。在该模块之后,本申请实施例可以获得该层级的残差场,融合多个运动方法并充分考虑邻域关系。
S34：将前四层的所述移动特征图和所述固定特征图输入至对应的后四个估计器中，在每一所述估计器中将所生成的残差变形场经过上采样后与所述总残差变形场进行融合，得到所述目标总残差变形场。
需要说明的是，在后四个估计器中的运动分解Transformer模块和重新生成模块均与上述步骤S321-S324、步骤S331-S333相同的处理过程，为避免重复，此处不再赘述。
请参考图10，图10是本申请实施例提供的CUDA算子调用结构示意图。
对于运动分解Transformer模块，由于现有的深度学习框架中没有较好的实现方式，本申请实施例采用CUDA编程进行算子实现。如图10所示，本申请实施例主要对核心的正向传播函数和反向传播函数的实现进行方法描述。
在图10中，f_fw_cu函数中输入是三个张量类型的常量引用，分别为查询张量query，键张量key，相对位置偏置张量rpb，这样可以避免发生拷贝和修改。输出为注意力分数张量attn。输入输出的张量默认形状分别为:
query：B,heads,H,W,L,dims；
key：B,heads,H+2,W+2,L+2,dims；
rpb：heads,kernel_size,kernel_size,kernel_size；
Attn：B,heads,H,W,L,kernel_size3；
其中，B代表批大小，heads代表头数，H，W，L分别代表空间上的高、宽、长，dims代表每个头的维度数量，kernel_size代表邻域单个维度的大小，这里key比query大是因为填充过，这方便其以任意形式进行填充。
由于GPU中一个块的线程上限数为1024，本申请实施例创建维度的划分，并且要求最终各维度乘积不能大于1024。第一个维度大小为kernel_size3，这正好是注意力要计算的范围大小，第二个维度大小为B*heads第三个维度大小为H*W*L。
其中，fw_kernel函数内部编写的是针对输出中的一个点应该的计算函数，本申请实施例根据划分的三个纬度得到当前的编号并获取计算范围，在超过某维度最大范围时会直接返回，这样防止调用了不该调用的cuda核心。根据CUDA的线程索引公式得到该线程的具体索引x，y，z。接下来用它们分解出当前cuda线程对应的输出tensor的索引，采用短除法，比如x维代表的是H、W、L的乘积，首先用z整除H得到H维的编号，再用余数去整除W得到W维的编号，以此类推。同理z代表batch和head两个纬度，同样采用短除法分离出b和h。y最终的维度是kernel_size的立方，我们假设kernel_size为3，則最后一个维度代表当前核函数正在计算相对于当前q的27个方向中的哪个方向上的k，最后这个核函数的具体运算则是，沿着多头的维度dims循环求q和k乘积求和。最终再加上对应的rpb值，赋值给传入的attn张量。
其中，f_bw_cu函数实现反向传播，用于通过python程序部分返回的注意力分数梯度计算query，key，和rpb的梯度。函数接受四个输入参数，分别是注意力反向传播梯度张量d_attn，查询张量query，键张量key。函数的返回值为一个包含三个张量的vector，分别是查询张量的反向传播梯度d_query，键张量的反向传播梯度d_key，以及相对位置偏置的反向传播梯度d_rpb。几个梯度张量形状分别为：
d_key:B,heads,H+2,W+2,L+2,dims；
d_attn:B,heads,height,width,length,kernel_size3；
d_query:B,heads,H,W,L,dims；
d_rpb:B,kernel_size,kernel_size,kernel_size。
首先则是创建输出的零张量用于赋值。因为涉及到3个张量同时到反向传播计算，比较难以平衡线程多个维度之间的划分，所以本申请实施例就不再划分cuda的维度，每一个反向传播函数统一使用1维的block划分，d_q采用512线程，dk采用512线程，d_rpb采用64线程。之后通过浮点型张量分发器来向GPU分发核函数fdq_bw_kernel、fdk_bw_kernel和fdrpb_bw_kernel三个核函数。如下为反向传播推导：
具体地，具体核函数计算为：d_query在计算上和正向传播的逻辑是一样的。能影响query梯度的只有和它的邻域上进行点积的key张量，所以其输入为反向传播的注意力梯度的张量和正向传播的key张量。首先通过短除法来获得当前cuda线程负责计算输出的d_query中的对应索引。在计算部分则是对query中一个点在key上的kernel_size3邻域上与d_attn的最后一维相乘再相加。d_key的计算则比较复杂，因为要计算key中的一个点和query中哪些位置产生过计算，并且要考虑边界情况，这里首先要计算k的某个维度的值对应的Q上窗的起始位置和终止位置，根据窗的起始点和终止点进行三重循环，求query和对应方向的d_attn相乘再相加，对应方向的计算采用当前key的坐标减去query的坐标。d_rpb的计算因为其正向传播是加算，所以d_attn对rpb的导数为1，即一个领域内的d_rpb等于对应位置的d_attn，不过因为rpb在每个邻域上都是共享的，所以相当于将对应位置的d_attn进行加和，该操作采用CUDA的原语级加法函数进行累加，因为这涉及到不同核函数对同一显存单元的并行写入。
需要说明的是，所有循环都在编译时通过unroll命令进行了展开操作，减少内核中逻辑判断次数。
S4：根据所述目标总残差变形场将所述移动特征图进行配准，得到目标配准图像。
具体地，在本申请实施例中对模型训练的总损失如下：
其中，Ltotal为总损失，λ为正则化项的权重，If为固定医学图像，Im为移动医学图像，为形变场，Lreg为残差损失，若单模态医学图像配准则Lsim为归一化互相损失，若多模态医学图像配准则Lsim为局部互信息损失。
进一步地，在模型训练过程中，本申请实施例Adam优化器以及学习率衰减策略,如下所示:
其中，lrm表示第m个轮次的学习率,lrinit表示初始轮次的学习率，学习的轮次要看损失是否下降，训练到收敛时即可停止训练。
本申请实施例中，采集待配准的固定医学图像和移动医学图像，并对所述待配准的固定医学图像和移动医学图像进行预处理，得到初始医学图像数据；通过共享权重的编码模块提取所述初始医学图像数据中的结构化图像特征，得到移动特征图和固定特征图，其中，所述移动特征图和所述固定特征图均包括五层特征图；将每一层所述移动特征图和所述固定特征图依次输入至对应的估计器中，并在每一所述估计器中将所生成的残差变形场经过上采样后与总残差变形场进行融合，得到目标总残差b变形场，其中，每一所述估计器包括运动分解Transformer模块和重新生成模块；根据所述目标总残差变形场将所述移动特征图进行配准，得到目标配准图像。本发明实施例通过共享权重的编码模块对医学图像数据进行特征提取，并运动分解Transformer模块和重新生成模块对移动特征图和固定特征图生成目标总残差变形场，最后根据目标总残差变形场将移动特征图进行配准，得到目标配准图像，从而有利于提高医学图像配准的精准度。
进一步地，针对现有的大部分图像配准方法中采用传统迭代优化的方式配准耗时长，单阶段网络精度不够，而级联网络速度也较慢，而本申请实施例使用基于深度学习的金字塔结构医学图像的配准方法，有效地解决了配准耗时长的问题并提高了精度。通过共享权重编码器，本申请实施例的网络能对配准中的移动图像和固定图像进行语义相似的编码，方便后续形变场估计。本申请实施例提出的运动分解Transformer模块神经网络对多组特征对应关系求解并转换为形变场，并且本申请实施例提出了CUDA加速的该模块版本，速度非常快。本申请实施例提供了重新生成模块将没有考虑邻域关系的运动分解Transformer模块求得的形变场进行重新生成，得到具有非分同胚特性的形变场，使形变更加合理。本申请实施例可用于配准二维图像、三维图像、多模态医学图像以及多模态自然图像，而有些专利会限制适用范围，比如只适用于二维图像或者三维图像。
请参考图11，作为对上述图1所示方法的实现，本申请提供了一种运动分解模型的医学图像配准装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图11所示，本实施例的运动分解模型的医学图像配准装置包括：医学图像数据采集单元51、图像特征提取单元52、残差变形场生成单元53及配准图像生成单元54，其中：
医学图像数据采集单元51，用于采集待配准的固定医学图像和移动医学图像，并对所述待配准的固定医学图像和移动医学图像进行预处理，得到初始医学图像数据；
图像特征提取单元52，用于通过共享权重的编码模块提取所述初始医学图像数据中的结构化图像特征，得到移动特征图和固定特征图，其中，所述移动特征图和所述固定特征图均包括五层特征图；
残差变形场生成单元53，用于每一层所述移动特征图和所述固定特征图依次输入至对应的估计器中，并在每一所述估计器中将所生成的残差变形场经过上采样后与总残差变形场进行融合，得到目标总残差变形场，其中，每一所述估计器包括运动分解Transformer模块和重新生成模块；
配准图像生成单元54，用于根据所述目标总残差变形场将所述移动特征图进行配准，得到目标配准图像。
进一步地，医学图像数据采集单元51包括：
图像挑选单元，用于从所述初始医学图像数据中依次挑选两张图像，分别作为移动医学图像和固定医学图像；
第一图像特征提取单元，用于将所述移动医学图像和所述固定医学图像依次输入至所共享权重的编码模块中，通过第一层编码器将输入的所述移动医学图像和所述固定医学图像进行特征提取，得到初始第一层移动特征图和初始第一层移动特征图；
通道维度增加单元，用于通过两个卷积块对所述初始第一层移动特征图和所述初始第一层移动特征图进行特征处理，得到第一层移动特征图和第一层固定特征图；
第二图像特征提取单元，用于通过后四层编码器依次对所述移动医学图像和所述固定医学图像进行特征提取，得到后四层移动特征图和后四层固定特征图。
进一步地，第二图像特征提取单元包括：
第三图像特征提取单元，用于通过所述后四层编码器依次对所述移动医学图像和所述固定医学图像进行特征提取，得到初始后四层移动特征图和初始后四层固定特征；
下采样处理单元，用于将任一所述初始后四层移动特征图和所述初始后四层固定特征进行平均池化下采样处理，得到后四层移动采样图和后四层固定采样图；
第四图像特征提取单元，用于分别通过两个卷积块对所述后四层移动采样图和所述后四层固定采样图进行特征提取，得到所述后四层移动特征图和所述后四层固定特征图。
进一步地，图像特征提取单元52包括：
特征图输入单元，用于将每一层所述移动特征图和所述固定特征图依次输入至对应的所述估计器中；
初始残差变形场生成单元，用于在第一个估计器中的运动分解Transformer模块基于第五层移动特征图和第五层固定特征图生成初始残差变形场；
残差变形场重生单元，用于通过所述第一个估计器中的重新生成模块基于所述初始残差变形场生成目标残差变形场，并将所述目标残差变形场作为所述初始总残差变形场；
残差变形场融合单元，用于将前四层的所述移动特征图和所述固定特征图输入至对应的后四个估计器中，在每一所述估计器中将所生成的残差变形场经过上采样后与所述总残差变形场进行融合，得到所述目标总残差变形场。
进一步地，初始残差变形场生成单元包括：
特征映射单元，用于通过所述第一个估计器中的运动分解Transformer模块获取所述第五层移动特征图和所述第五层固定特征图的特征映射，得到第五层移动映射图和第五层固定映射图；
层归一化处理单元，用于将所述第五层移动映射图和第五层固定映射图进行线性投影和层归一化处理，得到查询张量和键张量；
张量分割单元，用于将所述查询张量和所述键张量进行分割，得到分割后查询张量和分割后键张量；
邻域注意力图计算单元，用于基于所述分割后查询张量和所述分割后键张量计算邻域注意力图，并基于所述邻域注意力图生成所述初始残差变形场。
进一步地，邻域注意力图计算单元包括：
边界填充单元，用于通过零填充法对所述分割后键张量进行边界填充，得到填充后键张量；
邻域信息计算单元，用于基于所述分割后查询张量和所述填充后键张量通过预设公式进行计算处理，得到所述邻域注意力图；
正则位移场计算单元，用于基于所述邻域注意力图中加权的正则位移场，得到多个所述初始残差变形场。
进一步地，残差变形场重生单元包括：
卷积处理单元，用于基于所述第一个估计器中的所述重新生成模块对所述初始残差变形场进行三通道卷积处理，得到卷积层输出结果；
静态速度场生成单元，用于通过对所述卷积层输出结果进行缩放和平方处理，得到三通道的静态速度场；
目标残差变形场生成单元，用于基于所述三通道的静态速度场生成所述目标残差变形场，并将所述目标残差变形场作为所述初始总残差变形场。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图12，图12为本实施例计算机设备基本结构框图。
计算机设备8包括通过系统总线相互通信连接存储器81、处理器82、网络接口83。需要指出的是，图中仅示出了具有三种组件存储器81、处理器82、网络接口83的计算机设备8，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器81至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器81可以是计算机设备8的内部存储单元，例如该计算机设备8的硬盘或内存。在另一些实施例中，存储器81也可以是计算机设备8的外部存储设备，例如该计算机设备8上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器81还可以既包括计算机设备8的内部存储单元也包括其外部存储设备。本实施例中，存储器81通常用于存储安装于计算机设备8的操作系统和各类应用软件，例如运动分解模型的医学图像配准方法的程序代码等。此外，存储器81还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器82在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器82通常用于控制计算机设备8的总体操作。本实施例中，处理器82用于运行存储器81中存储的程序代码或者处理数据，例如运行上述运动分解模型的医学图像配准方法的程序代码，以实现运动分解模型的医学图像配准方法的各种实施例。
网络接口83可包括无线网络接口或有线网络接口，该网络接口83通常用于在计算机设备8与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序可被至少一个处理器执行，以使至少一个处理器执行如上述的一种运动分解模型的医学图像配准方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种运动分解模型的医学图像配准方法，其特征在于，包括：
采集待配准的固定医学图像和移动医学图像，并对所述待配准的固定医学图像和移动医学图像进行预处理，得到初始医学图像数据；
通过共享权重的编码模块提取所述初始医学图像数据中的结构化图像特征，得到移动特征图和固定特征图，其中，所述移动特征图和所述固定特征图均包括五层特征图；
将每一层所述移动特征图和所述固定特征图依次输入至对应的估计器中，并在每一所述估计器中将所生成的残差变形场经过上采样后与总残差变形场进行融合，得到目标总残差变形场，其中，每一所述估计器包括运动分解Transformer模块和重新生成模块；
根据所述目标总残差变形场将所述移动特征图进行配准，得到目标配准图像。
2.根据权利要求1所述的运动分解模型的医学图像配准方法，其特征在于，所述编码模块包括五层共享权重的金字塔结构的编码器，所述通过共享权重的编码模块提取所述初始医学图像数据中的结构化图像特征，得到移动特征图和固定特征图，包括：
从所述初始医学图像数据中依次挑选两张图像，分别作为移动医学图像和固定医学图像；
将所述移动医学图像和所述固定医学图像依次输入至所共享权重的编码模块中，通过第一层编码器将输入的所述移动医学图像和所述固定医学图像进行特征提取，得到初始第一层移动特征图和初始第一层移动特征图；
通过两个卷积块对所述初始第一层移动特征图和所述初始第一层移动特征图进行特征处理，得到第一层移动特征图和第一层固定特征图；
通过后四层编码器依次对所述移动医学图像和所述固定医学图像进行特征提取，得到后四层移动特征图和后四层固定特征图。
3.根据权利要求2所述的运动分解模型的医学图像配准方法，其特征在于，所述通过后四层编码器依次对所述移动医学图像和所述固定医学图像进行特征提取，得到后四层移动特征图和后四层固定特征图，包括：
通过所述后四层编码器依次对所述移动医学图像和所述固定医学图像进行特征提取，得到初始后四层移动特征图和初始后四层固定特征；
将任一所述初始后四层移动特征图和所述初始后四层固定特征进行平均池化下采样处理，得到后四层移动采样图和后四层固定采样图；
分别通过两个卷积块对所述后四层移动采样图和所述后四层固定采样图进行特征提取，得到所述后四层移动特征图和所述后四层固定特征图。
4.根据权利要求1至3任一项所述的运动分解模型的医学图像配准方法，其特征在于，所述将每一层所述移动特征图和所述固定特征图依次输入至对应的估计器中，并在每一所述估计器中将所生成的残差变形场经过上采样后与总残差变形场进行融合，得到目标总残差变形场，包括：
将每一层所述移动特征图和所述固定特征图依次输入至对应的所述估计器中；
在第一个估计器中的运动分解Transformer模块基于第五层移动特征图和第五层固定特征图生成初始残差变形场；
通过所述第一个估计器中的重新生成模块基于所述初始残差变形场生成目标残差变形场，并将所述目标残差变形场作为所述初始总残差变形场；
将前四层的所述移动特征图和所述固定特征图输入至对应的后四个估计器中，在每一所述估计器中将所生成的残差变形场经过上采样后与所述总残差变形场进行融合，得到所述目标总残差变形场。
5.根据权利要求4所述的运动分解模型的医学图像配准方法，其特征在于，所述在第一个估计器中的运动分解Transformer模块基于第五层移动特征图和第五层固定特征图生成初始残差变形场，包括：
通过所述第一个估计器中的运动分解Transformer模块获取所述第五层移动特征图和所述第五层固定特征图的特征映射，得到第五层移动映射图和第五层固定映射图；
将所述第五层移动映射图和第五层固定映射图进行线性投影和层归一化处理，得到查询张量和键张量；
将所述查询张量和所述键张量进行分割，得到分割后查询张量和分割后键张量；
基于所述分割后查询张量和所述分割后键张量计算邻域注意力图，并基于所述邻域注意力图生成所述初始残差变形场。
6.根据权利要求5所述的运动分解模型的医学图像配准方法，其特征在于，所述基于所述分割后查询张量和所述分割后键张量计算邻域注意力图，并基于所述邻域注意力图生成所述初始残差变形场，包括：
通过零填充法对所述分割后键张量进行边界填充，得到填充后键张量；
基于所述分割后查询张量和所述填充后键张量通过预设公式进行计算处理，得到所述邻域注意力图；
基于所述邻域注意力图中加权的正则位移场，得到多个所述初始残差变形场。
7.根据权利要求4所述的运动分解模型的医学图像配准方法，其特征在于，所述通过所述第一个估计器中的重新生成模块基于所述初始残差变形场生成目标残差变形场，并将所述目标残差变形场作为所述初始总残差变形场，包括：
基于所述第一个估计器中的所述重新生成模块对所述初始残差变形场进行三通道卷积处理，得到卷积层输出结果；
通过对所述卷积层输出结果进行缩放和平方处理，得到三通道的静态速度场；
基于所述三通道的静态速度场生成所述目标残差变形场，并将所述目标残差变形场作为所述初始总残差变形场。
8.一种运动分解模型的医学图像配准装置，其特征在于，包括：
医学图像数据采集单元，用于采集待配准的固定医学图像和移动医学图像，并对所述待配准的固定医学图像和移动医学图像进行预处理，得到初始医学图像数据；
图像特征提取单元，用于通过共享权重的编码模块提取所述初始医学图像数据中的结构化图像特征，得到移动特征图和固定特征图，其中，所述移动特征图和所述固定特征图均包括五层特征图；
残差变形场生成单元，用于每一层所述移动特征图和所述固定特征图依次输入至对应的估计器中，并在每一所述估计器中将所生成的残差变形场经过上采样后与总残差变形场进行融合，得到目标总残差变形场，其中，每一所述估计器包括运动分解Transformer模块和重新生成模块；
配准图像生成单元，用于根据所述目标总残差变形场将所述移动特征图进行配准，得到目标配准图像。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的运动分解模型的医学图像配准方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的运动分解模型的医学图像配准方法。
CN202311080064.2A 2023-08-25 2023-08-25 运动分解模型的医学图像配准方法、装置、设备及介质 Pending CN116912299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311080064.2A CN116912299A (zh) 2023-08-25 2023-08-25 运动分解模型的医学图像配准方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311080064.2A CN116912299A (zh) 2023-08-25 2023-08-25 运动分解模型的医学图像配准方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116912299A true CN116912299A (zh) 2023-10-20

Family

ID=88353308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311080064.2A Pending CN116912299A (zh) 2023-08-25 2023-08-25 运动分解模型的医学图像配准方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116912299A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974474A (zh) * 2024-02-06 2024-05-03 北京长木谷医疗科技股份有限公司 一种基于形变域与柔性融合的多模态图像融合方法及装置
CN118314184A (zh) * 2024-06-11 2024-07-09 中国科学技术大学 基于改进U-Net网络的医学图像配准方法、装置和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974474A (zh) * 2024-02-06 2024-05-03 北京长木谷医疗科技股份有限公司 一种基于形变域与柔性融合的多模态图像融合方法及装置
CN118314184A (zh) * 2024-06-11 2024-07-09 中国科学技术大学 基于改进U-Net网络的医学图像配准方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
Wang et al. Automatic brain tumor segmentation based on cascaded convolutional neural networks with uncertainty estimation
Zhou et al. GAN review: Models and medical image fusion applications
CN111199550B (zh) 图像分割网络的训练方法、分割方法、装置和存储介质
Cheng et al. An analysis of generative adversarial networks and variants for image synthesis on MNIST dataset
CN112836618B (zh) 一种三维人体姿态估计方法及计算机可读存储介质
Xie et al. Generative VoxelNet: Learning energy-based models for 3D shape synthesis and analysis
Zyrianov et al. Learning to generate realistic lidar point clouds
CN116912299A (zh) 运动分解模型的医学图像配准方法、装置、设备及介质
CN112465827A (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
Liu et al. Optimization-based key frame extraction for motion capture animation
EP4030385A1 (en) Devices and process for synthesizing images from a source nature to a target nature
CN111373439B (zh) 使用cnn进行图像分割的方法
Wang et al. Swinmm: masked multi-view with swin transformers for 3d medical image segmentation
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
CN116129141B (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN113326851A (zh) 图像特征提取方法、装置、电子设备及存储介质
CN112967275A (zh) 软组织运动预测方法、装置、终端设备及可读存储介质
Xu et al. Deep reinforcement learning and its applications in medical imaging and radiation therapy: a survey
CN116958219A (zh) 金字塔循环形变的医学图像配准方法、装置、设备及介质
Zhou et al. A superior image inpainting scheme using Transformer-based self-supervised attention GAN model
Lv et al. Memory‐augmented neural networks based dynamic complex image segmentation in digital twins for self‐driving vehicle
Spurek et al. General hypernetwork framework for creating 3d point clouds
CN111062944B (zh) 网络模型训练方法及装置、图像分割方法及装置
Zhong et al. A study of deep single sketch-based modeling: View/style invariance, sparsity and latent space disentanglement
Wang et al. MDISN: Learning multiscale deformed implicit fields from single images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination