CN116309754A - 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 - Google Patents

一种基于局部-全局信息协作的大脑医学图像配准方法及系统 Download PDF

Info

Publication number
CN116309754A
CN116309754A CN202310321851.5A CN202310321851A CN116309754A CN 116309754 A CN116309754 A CN 116309754A CN 202310321851 A CN202310321851 A CN 202310321851A CN 116309754 A CN116309754 A CN 116309754A
Authority
CN
China
Prior art keywords
image
images
deformation field
feature
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310321851.5A
Other languages
English (en)
Inventor
舒禹程
袁鸣棋
肖斌
李伟生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202310321851.5A priority Critical patent/CN116309754A/zh
Publication of CN116309754A publication Critical patent/CN116309754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学图像处理技术领域，具体涉及一种基于局部‑全局信息协作的大脑医学图像配准方法及系统；该方法包括：获取用于训练的大脑医学图像并对其进行预处理，得到移动图像和固定图像；在通道维度拼接移动图像和固定图像，得到拼接图像；将拼接图像输入到全局自注意力关系网络中进行处理，得到第一形变场；将拼接图像输入到局部结构特征网络中进行处理，得到第二形变场；将第一形变场和第二形变场逐像素按位相加，得到最终形变场；根据最终形变场采用空间变换网络对移动图像进行翘曲，得到翘曲图像；本发明提升了配准的精度和泛化能力；比起现有技术，具有更好图像配准的效果。

Description

一种基于局部-全局信息协作的大脑医学图像配准方法及 系统
技术领域
本发明属于医学图像处理技术领域，具体涉及一种基于局部-全局信息协作的大脑医学图像配准方法及系统。
背景技术
在大多数医疗干预中，有许多情况下需要拍摄一些图像以进行诊断、预后、治疗等。这些图像在时间、空间、维度或模块方面有所不同。图像配准可以在指导和支持医生决策过程中发挥重要作用。对于这些在不同时间、条件和设置下拍摄的图像，不可避免的存在图像未对齐的情况，因而在后续的准确性分析中将面临很大的挑战。在进行医学图像处理分析时,经常要将同一病人几幅不同时期或者不同模态的图像放在一起进行比对分析,从而得到该病人多方面的综合信息,以提高医学临床诊断和后续相关治疗的水平。对几幅不同的图像作定量分析,首先要解决这几幅图像的严格对齐问题,这就是图像的配准。医学图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换,使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置。配准的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。图像配准也是图像引导干预的基础，如远程手术、图像引导放射治疗和精准医学，没有合适的图像配准方法就无法完成相关操作。
一般的形变图像配准技术的标准运行时间是几十分钟，而临床操作的实际使用是实时的，这样的方法不能很好的运用到实际中。而且大多数相似度度量都有大量的全局优化，特别是处理来自不同模式的图像，即由于过早收敛或停滞而没有达到预期效果。近年来基于深度学习的配准方法越来越受欢迎，基于深度学习的医学图像配准方法相较于传统的配准方法，具有很大的优势与潜力。根据所选用的深度学习框架，可将配准方法分为：(1)基于监督学习的配准方法和基于无监督学习的配准方法，但现有的关于医学图像配准的算法，存在以下几个技术问题：
1.现有配准方法多为某个单一任务设计了特殊的网络结构，使用了合适的超参数优化方法，并取得了优异的性能，但模型的泛化性不高，当将其应用于其他数据时，其功能和性能不尽如人意。同一算法迁移的时候会改变底层的组织结构，因此如何自适应地提升算法来泛化配准任务，提高其可重复可扩展性是一个挑战。
2.现有的网络在输入时包含的信息太少，网络经过编码得到的语义特征不够丰富，导致不能达到很好的配准效果。
3.对于固定图像与移动图像分别输入到编码器的情况，现有方法将提取的特征进行简单的连接，并未将特征很好的融合在一起，导致解码器没有得到真正融合后的特征进行解码，达不到很好的配准。
4.现有方法不能很好的定位在解剖结构的复杂区域中的小形变，并且对于大的位移不能很好的捕获。因此需要提出新的网络来关注复杂区域以及捕获大的位移达到很好的配准结果。
发明内容
针对现有技术存在的不足，本发明提出了一种基于局部-全局信息协作的大脑医学图像配准方法及系统，该方法包括：获取待配准的大脑医学图像，将待配准的大脑医学图像输入到训练好的大脑医学图像配准模型中，得到翘曲图像；
大脑医学图像配准模型的训练过程包括：
S1：获取用于训练的大脑医学图像并对其进行预处理，得到移动图像和固定图像；
S2：在通道维度拼接移动图像和固定图像，得到拼接图像；
S3：将拼接图像输入到全局自注意力关系网络中进行处理，得到第一形变场；
S4：将拼接图像输入到局部结构特征网络中进行处理，得到第二形变场；
S5：将第一形变场和第二形变场逐像素按位相加，得到最终形变场；
S6：根据最终形变场采用空间变换网络对移动图像进行翘曲，得到翘曲图像；
S7：根据翘曲图像和固定图像计算网络的损失函数，根据损失函数调整模型参数，得到训练好的大脑医学图像配准模型。
优选的，对大脑医学图像进行预处理的过程包括：对大脑医学图像进行仿射配准、灰度归一化操作，将仿射配准、灰度归一化后的图像裁剪到统一尺寸；从裁剪后的图像中随机选取部分图像作为移动图像，剩余的图像为固定图像。
优选的，拼接图像在全局自注意力关系网络中的处理过程包括：对拼接图像进行分块嵌入处理，得到多个图像块；将多个图像块依次输入四个编码器中进行处理，前一个编码器的输出为下一个编码器的输入，得到四个不同尺寸的编码器特征图；对四个不同尺寸的编码器特征图依次进行三线性插值上采样处理得到四个与编码器特征图尺寸相同的特征图即还原特征图；同时采用多尺度特征融合模块对四个编码器特征图和还原特征图进行融合，得到第一形变场。
进一步的，编码器对图像块的处理过程包括：将图像块进行线性操作分解为Q、K、V三组特征向量，将Q和K的转置进行点积后再进行归一化处理，最后通过Softmax激活函数处理得到置信度矩阵；将置信度矩阵点乘V得到加权特征图，采用多层感知器对加权特征图进行激活，输出编码器特征图。
进一步的，多尺度特征融合模块对四个编码器特征图和还原特征图进行融合的过程包括：对四个编码器特征图分别进行卷积处理，得到四个第一特征图，在通道维度拼接这四个第一特征图，得到拼接特征图；对拼接特征图分别进行最大池化操作和平均池化操作，得到拼接特征图的最大池化特征图和平均池化特征图；采用多层感知机分别对拼接特征图的最大池化特征图和平均池化特征图进行处理，拼接处理后的图像并使用激活函数进行激活，得到第二特征图；融合第二特征图和编码器特征图，得到四个融合特征图；拼接融合特征图和还原特征图，利用卷积操作处理拼接后的特征图，得到第一形变场。
优选的，拼接图像在局部结构特征网络中的处理过程包括：将拼接图像依次输入到四个卷积层中进行处理，前一个卷积层的输出为下一个卷积层的输入，得到四个尺寸不同的语义特征；采用解码器分别对四个尺寸不同的语义特征进行处理，得到四个尺度还原的语义特征；采用多尺度特征融合模块对四个尺度还原的语义特征和原尺度语义特征进行融合，得到第二形变场；其中，解码器包括卷积层和三线性插值上采样层。
优选的，计算网络的损失函数的过程包括为：计算翘曲图像和固定图像的相似度；构建形变场的正则化约束函数；根据相似度和正则化约束函数计算网络的损失函数。
一种基于局部-全局信息协作的大脑医学图像配准系统，包括：预处理模块、图像拼接模块、全局自注意力关系网络模块、局部结构特征网络模块、形变场融合模块和配准模块；
所述预处理模块用于对待配准的图像进行预处理，得到移动图像和固定图像；
所述图像拼接模块用于拼接移动图像和固定图像，得到拼接图像；
所述全局自注意力关系网络模块用于根据拼接图像获取第一形变场；
所述局部结构特征网络模块用于根据拼接图像获取第二形变场；
所述形变场融合模块用于融合第一形变场和第二形变场，得到最终形变场；
所述配准模块用于根据最终形变场对图像进行配准，输出翘曲图像。
本发明的有益效果为：本发明提出的一种基于局部-全局信息协作的大脑医学图像配准方法采用多种图像输入路径，以编码不同的图像信息并产生丰富的语义特征，进一步将这些特征进行解码并生成不同的形变场，对形变场进行相加，实现了形变场互补的效果；考虑到局部特征与全局特征的融合问题，设计多尺度特征融合模块解决特征融合问题；由于现有的基于卷积神经网络的U型结构在编码输出时可能会丢失较高级的全局空间信息，本发明在卷积神经网络添加Transformer模块从而很好的解决这一问题。本发明使用双网络协同和归一化互相关损失函数进行鲁棒学习，接入空间变换网络对移动图像进行翘曲，再引入正则化平滑算法对翘曲图像进行约束，提升了配准的精度和泛化能力；比起现有技术，本发明具有更好图像配准的效果。
附图说明
图1为本发明中基于局部-全局信息协作的大脑医学图像配准方法结构示意图；
图2为本发明中多尺度特征融合模块结构示意图；
图3为本发明的方法与其他方法生成形变场的对比图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了一种基于局部-全局信息协作的大脑医学图像配准方法及系统，如图1所示，所述方法包括以下内容：获取待配准的大脑医学图像，将待配准的大脑医学图像输入到训练好的大脑医学图像配准模型中，得到翘曲图像即配准后的图像；
大脑医学图像配准模型的训练过程包括：
S1：获取用于训练的大脑医学图像并对其进行预处理，得到移动图像和固定图像。
对大脑医学图像进行预处理的过程包括：对大脑医学图像进行仿射配准、灰度归一化操作，将仿射配准、灰度归一化后的图像裁剪到统一尺寸(160×192×160)；从裁剪后的图像中随机选取大部分图像作为移动图像，剩余的图像为固定图像。
S2：在通道维度拼接移动图像和固定图像，得到拼接图像。
S3：将拼接图像输入到全局自注意力关系网络中进行处理，得到第一形变场。
将得到的拼接图像作为输入源输入到配准网络中进行处理，配准网络包括VisionTransformer配准网络(全局自注意力关系网络)和U型卷积神经网络中(局部结构特征网络)；拼接图像在全局自注意力关系网络中的处理过程包括：
对拼接图像进行分块嵌入处理，得到多个图像块，具体的，采用Transformer模块将图像分为N个图像块
Figure BDA0004152038900000061
(P,P,P)表示每一个图像分块的尺寸；/>
Figure BDA0004152038900000062
(H,W,L)表示原始图像的尺寸，之后通过线性嵌入将每个patch投影成D×1向量，其表示为：
Figure BDA0004152038900000063
其中，E表示可学习的线性嵌入，D是用户定义的超参数。
将多个图像块依次输入四个编码器中进行处理，前一个编码器的输出为下一个编码器的输入，得到四个不同尺寸的编码器特征图；编码器对图像块的处理过程包括：
将图像块进行线性操作分解为查询(Q)、键(K)、值(V)三组特征向量，将Q和K的转置进行点积后进行归一化处理，最后通过Softmax激活函数处理得到置信度矩阵；将置信度矩阵点乘V得到加权特征图，采用多层感知器对加权特征图进行激活，输出特征图；具体的：编码器中含有自注意力网络，多个图像块经过自注意力网络处理可获得注意力权重矩阵，表示为：
Figure BDA0004152038900000064
SW(xe)＝WV
其中，W表示注意力权重矩阵，W中的每个元素表示输入序列xe及其各自的Q和K表示之间的两两相似度，σ(·)表示Softmax函数，T表示转置操作，DK代表K的特征维度，SW(xe)计算每一个令牌Q和K点积的归一化分值，并将这个分数与V进行点积获得加权的特征图。
对四个不同尺寸的编码器特征图依次进行三线性插值上采样处理，得到四个与编码器特征图尺寸相同的特征图即还原特征图；采用多尺度特征融合模块分别对四对编码器特征图和还原特征图进行融合，得到第一形变场Φ1。多尺度特征融合模块对四个编码器特征图和还原特征图进行融合的过程包括：
如图2所示，对四个编码器特征图分别进行卷积处理，得到四个第一特征图；对在通道维度拼接这四个第一特征图，得到拼接特征图，分别进行最大池化操作和平均池化操作，得到拼接特征图的最大池化特征图和平均池化特征图；采用多层感知机分别对拼接特征图的最大池化特征图和平均池化特征图进行处理，拼接处理后的图像并使用激活函数进行激活，得到第二特征图；融合第二特征图和编码器特征图，得到四个融合特征图；拼接融合特征图和还原特征图，利用卷积操作处理拼接后的特征图，得到第一形变场Φ1。
多尺度融合模块CAF获取特征间的相关性并进行特征融合，表示为：
Figure BDA0004152038900000071
Figure BDA0004152038900000072
Figure BDA0004152038900000073
Figure BDA0004152038900000074
Figure BDA0004152038900000075
其中，Ei表示编码器生成的不同尺度的特征图，Conv代表卷积，使用卷积核和步长对其进行采样得到同等尺寸的特征图
Figure BDA0004152038900000076
MaxP表示最大池化操作，MeanP表示平均池化操作，conc表示在通道维度对提取的特征进行拼接，Wi表示取值范围为0和1之间的注意力权重矩阵，i代表编码层数，σ代表Sigmoid函数；/>
Figure BDA0004152038900000081
表示最大池化特征图，/>
Figure BDA0004152038900000082
表示平均池化特征图。
S4：将拼接图像输入到局部结构特征网络中进行处理，得到第二形变场。
拼接图像在局部结构特征网络中的处理过程包括：
将拼接图像依次输入到四个卷积层中进行处理，前一个卷积层的输出为下一个卷积层的输入，得到四个尺寸不同的语义特征；采用解码器分别对四个尺寸不同的语义特征进行处理，得到四个尺度还原的语义特征；采用多尺度特征融合模块对四个尺度还原的语义特征和原尺度语义特征进行融合，得到第二形变场Φ2；其中，解码器包括卷积层和三线性插值上采样层。优选的，解码器卷积核尺寸为3×3×3。
解码器利用线性插值将图像尺寸还原，并在还原过程中把对应尺度上的编码特征信息引入到上采样或反卷积过程中；全局自注意力关系网络中对四个不同尺寸的特征图进行三线性插值上采样处理，得到四个尺度还原的特征图的过程也可看作是解码器对特征图的还原，解码器解码过程表示为：
Figure BDA0004152038900000083
其中，UP(.)表示利用线性插值对图像尺寸还原，C表示在特征通道对高级语义的拼接，
Figure BDA0004152038900000084
表示解码器第i层获取的特征，/>
Figure BDA0004152038900000085
表示编码器第i层(第i个卷积层)提取的特征。
采用多尺度特征融合模块对四个尺度还原的语义特征和原尺度语义特征进行融合的过程与全局自注意力关系网络中采用多尺度特征融合模块对四个编码器特征图和还原特征图进行融合的过程类似，此处不再赘述。
S5：将第一形变场和第二形变场逐像素按位相加，得到最终形变场Φ。
S6：根据最终形变场采用空间变换网络对移动图像进行翘曲，得到翘曲图像Fw。
S7：根据翘曲图像和固定图像计算网络的损失函数，根据损失函数调整模型参数，得到训练好的大脑医学图像配准模型。
计算翘曲图像和固定图像的相似度，表示为：
Figure BDA0004152038900000091
其中，LNCC(If,Iw)是图像配准中较为常见的互相关计算方法，来描述两幅图像之间的相关性。式中If，Iw分别代表输入固定图像和翘曲图像的灰度值；
Figure BDA0004152038900000092
表示在p周围一定大小空间上的灰度的均值，此空间为窗口大小为9的正方体体积空间。LNCC的值在[0,1]范围上，值越大，表示两幅图像越相关。
使用正则化约束形变场，使其产生的位移量更趋于真实情况，因此构建形变场的正则化约束函数，表示为：
Figure BDA0004152038900000093
其中，
Figure BDA0004152038900000094
Figure BDA0004152038900000095
表示位移场的空间梯度，空间梯度用正向差分逼近，优化相似度指标本身将鼓励/>
Figure BDA00041520389000000911
在视觉上尽可能接近If。然而，由此产生的变形场/>
Figure BDA0004152038900000097
可能并不光滑或真实。为了使变形场具有平滑性，在损失函数中加入正则化函数/>
Figure BDA0004152038900000098
鼓励一个位置的位移值与相邻位置的位移值相似。
根据相似度和正则化约束函数计算网络的损失函数，具体的：图像配准通过损失函数建立两幅图像之间的空间对应关系，表示为：
Figure BDA0004152038900000099
其中，LNCC(If,Iw)测量翘曲图像与固定图像之间的对齐水平，Iw代表根据形变场对移动图像进行翘曲操作生成的翘曲图像，λ是根据经验设置的正则化权衡参数，
Figure BDA00041520389000000910
表示对形变场进行平滑约束。
启动梯度反向传播，优化网络的损失函数，当损失函数收敛或者达到预先设置的epoch轮次，完成模型的训练并保存模型固定网络参数，得到训练好的大脑医学图像配准模型。获取待配准的大脑医学图像，将待配准的大脑医学图像输入到训练好的大脑医学图像配准模型中，可得到翘曲图像。
本发明还提出一种基于局部-全局信息协作的大脑医学图像配准系统，该系统可执行上述一种基于局部-全局信息协作的大脑医学图像配准方法，包括：预处理模块、图像拼接模块、全局自注意力关系网络模块、局部结构特征网络模块、形变场融合模块和配准模块；
所述预处理模块用于对待配准的图像进行预处理，得到移动图像和固定图像；
所述图像拼接模块用于拼接移动图像和固定图像，得到拼接图像；
所述全局自注意力关系网络模块用于根据拼接图像获取第一形变场；
所述局部结构特征网络模块用于根据拼接图像获取第二形变场；
所述形变场融合模块用于融合第一形变场和第二形变场，得到最终形变场；
所述配准模块用于根据最终形变场对图像进行配准，输出翘曲图像。
对本发明进行评价：
IXI数据集收集了接近576幅来自三个医院健康志愿者的T1w和T2w大脑MR图像。使用citatlaskit3软件自动勾画16个皮质层的真实掩模，然后由两名神经外科专家手动校正。随机选取其中的130张图像，100张作为训练样本，任选其中的两幅作为移动图像和固定图像得到10000组数据，测试集使用剩余的30张图像共900组数据。OASIS数据集是一个公开的大脑MR图像数据集。旨在向科学界免费提供神经成像数据集。本章实验采用的OASIS-3版本包含来自从43-95岁认知正常的成年人和处于认知能力下降不同阶段的个体的2842幅人体大脑MR图像，随机选取40张作为固定图像，其余图像作为移动图像；测试集选取5幅作为固定图像，剩余的作为移动图像，共产生200张测试数据。所有图像都预先进行仿射处理、灰度归一化、图像尺寸裁剪为160×192×160。
图3展示了每种方法生成的形变场。为了更清晰地比较每种方法生成的形变场之间的差异，使用黑色方框框住了变化明显的一些区域。通过观察可以发现，本方法能够捕获到大的形变。为了评估所提出的网络框架，在分别在IXI和OASIS数据集上进行了实验。在表1中给出在实验中获得的结果的指标评价，实验结果表明，本发明的配准精度最高，说明本发明所提出的方法与其他现有方法相比，取得了产生令人满意的配准结果。
表1IXI数据集和OASIS数据集上的对比实验结果
Figure BDA0004152038900000111
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于局部-全局信息协作的大脑医学图像配准方法，其特征在于，包括：获取待配准的大脑医学图像，将待配准的大脑医学图像输入到训练好的大脑医学图像配准模型中，得到翘曲图像；
大脑医学图像配准模型的训练过程包括：
S1：获取用于训练的大脑医学图像并对其进行预处理，得到移动图像和固定图像；
S2：在通道维度拼接移动图像和固定图像，得到拼接图像；
S3：将拼接图像输入到全局自注意力关系网络中进行处理，得到第一形变场；
S4：将拼接图像输入到局部结构特征网络中进行处理，得到第二形变场；
S5：将第一形变场和第二形变场逐像素按位相加，得到最终形变场；
S6：根据最终形变场采用空间变换网络对移动图像进行翘曲，得到翘曲图像；
S7：根据翘曲图像和固定图像计算网络的损失函数，根据损失函数调整模型参数，得到训练好的大脑医学图像配准模型。
2.根据权利要求1所述的一种基于局部-全局信息协作的大脑医学图像配准方法，其特征在于，对大脑医学图像进行预处理的过程包括：对大脑医学图像进行仿射配准、灰度归一化操作，将仿射配准、灰度归一化后的图像裁剪到统一尺寸；从裁剪后的图像中随机选取部分图像作为移动图像，剩余的图像为固定图像。
3.根据权利要求1所述的一种基于局部-全局信息协作的大脑医学图像配准方法，其特征在于，拼接图像在全局自注意力关系网络中的处理过程包括：对拼接图像进行分块嵌入处理，得到多个图像块；将多个图像块依次输入四个编码器中进行处理，前一个编码器的输出为下一个编码器的输入，得到四个不同尺寸的编码器特征图；对四个不同尺寸的编码器特征图依次进行三线性插值上采样处理得到四个与编码器特征图尺寸相同的特征图即还原特征图；同时采用多尺度特征融合模块对四个编码器特征图和还原特征图进行融合，得到第一形变场。
4.根据权利要求3所述的一种基于局部-全局信息协作的大脑医学图像配准方法，其特征在于，编码器对图像块的处理过程包括：将图像块进行线性操作分解为Q、K、V三组特征向量，将Q和K的转置进行点积后再进行归一化处理，最后通过Softmax激活函数处理得到置信度矩阵；将置信度矩阵点乘V得到加权特征图，采用多层感知器对加权特征图进行激活，输出编码器特征图。
5.根据权利要求3所述的一种基于局部-全局信息协作的大脑医学图像配准方法，其特征在于，多尺度特征融合模块对四个编码器特征图和还原特征图进行融合的过程包括：对四个编码器特征图分别进行卷积处理，得到四个第一特征图，在通道维度拼接这四个第一特征图，得到拼接特征图；对拼接特征图分别进行最大池化操作和平均池化操作，得到拼接特征图的最大池化特征图和平均池化特征图；采用多层感知机分别对拼接特征图的最大池化特征图和平均池化特征图进行处理，拼接处理后的图像并使用激活函数进行激活，得到第二特征图；融合第二特征图和编码器特征图，得到四个融合特征图；拼接融合特征图和还原特征图，利用卷积操作处理拼接后的特征图，得到第一形变场。
6.根据权利要求1所述的一种基于局部-全局信息协作的大脑医学图像配准方法，其特征在于，拼接图像在局部结构特征网络中的处理过程包括：将拼接图像依次输入到四个卷积层中进行处理，前一个卷积层的输出为下一个卷积层的输入，得到四个尺寸不同的语义特征；采用解码器分别对四个尺寸不同的语义特征进行处理，得到四个尺度还原的语义特征；采用多尺度特征融合模块对四个尺度还原的语义特征和原尺度语义特征进行融合，得到第二形变场；其中，解码器包括卷积层和三线性插值上采样层。
7.根据权利要求1所述的一种基于局部-全局信息协作的大脑医学图像配准方法，其特征在于，计算网络的损失函数的过程包括为：计算翘曲图像和固定图像的相似度；构建形变场的正则化约束函数；根据相似度和正则化约束函数计算网络的损失函数。
8.一种基于局部-全局信息协作的大脑医学图像配准系统，其特征在于，包括：预处理模块、图像拼接模块、全局自注意力关系网络模块、局部结构特征网络模块、形变场融合模块和配准模块；
所述预处理模块用于对待配准的图像进行预处理，得到移动图像和固定图像；
所述图像拼接模块用于拼接移动图像和固定图像，得到拼接图像；
所述全局自注意力关系网络模块用于根据拼接图像获取第一形变场；
所述局部结构特征网络模块用于根据拼接图像获取第二形变场；
所述形变场融合模块用于融合第一形变场和第二形变场，得到最终形变场；
所述配准模块用于根据最终形变场对图像进行配准，输出翘曲图像。
CN202310321851.5A 2023-03-29 2023-03-29 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 Pending CN116309754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310321851.5A CN116309754A (zh) 2023-03-29 2023-03-29 一种基于局部-全局信息协作的大脑医学图像配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310321851.5A CN116309754A (zh) 2023-03-29 2023-03-29 一种基于局部-全局信息协作的大脑医学图像配准方法及系统

Publications (1)

Publication Number Publication Date
CN116309754A true CN116309754A (zh) 2023-06-23

Family

ID=86834173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310321851.5A Pending CN116309754A (zh) 2023-03-29 2023-03-29 一种基于局部-全局信息协作的大脑医学图像配准方法及系统

Country Status (1)

Country Link
CN (1) CN116309754A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197203A (zh) * 2023-09-08 2023-12-08 北京医智影科技有限公司 一种形变配准模型训练、剂量叠加方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197203A (zh) * 2023-09-08 2023-12-08 北京医智影科技有限公司 一种形变配准模型训练、剂量叠加方法及装置
CN117197203B (zh) * 2023-09-08 2024-02-20 北京医智影科技有限公司 一种形变配准模型训练、剂量叠加方法及装置

Similar Documents

Publication Publication Date Title
CN112132878B (zh) 基于卷积神经网络的端到端大脑核磁共振图像配准方法
CN114565816B (zh) 一种基于全局信息融合的多模态医学图像融合方法
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
CN112785593A (zh) 一种基于深度学习的脑部图像分割方法
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
CN116258732A (zh) 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法
CN114331849B (zh) 一种跨模态核磁共振超分网络及图像超分辨率方法
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统
Ma et al. Unsupervised deformable image registration network for 3D medical images
CN117218453B (zh) 一种不完备多模态医学影像学习方法
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
CN116309507A (zh) 注意力机制下对ctp进行特征融合的ais病灶预测方法
CN117372452A (zh) 结合高效Transformer与UNet的3D脑肿瘤分割模型
CN116863221A (zh) 一种基于cnn与注意力机制的阿尔兹海默症分类方法
CN116485853A (zh) 一种基于深度学习神经网络的医学图像配准方法和装置
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN113689544B (zh) 一种跨视图几何约束的医学影像三维重建方法
CN115239740A (zh) 基于GT-UNet的全心分割算法
CN114419015A (zh) 一种基于多模态配准的脑功能融合分析方法
Wang et al. Application of fusion model of 3D-ResNeXt and Bi-LSTM network in Alzheimer’s disease classification
Fan et al. Graph Reasoning Module for Alzheimer’s Disease Diagnosis: A Plug-and-Play Method
CN115619810B (zh) 一种前列腺分区分割方法、系统及设备
CN117079093B (zh) 一种基于多模态影像数据的异动症预测方法、装置及设备
CN118037594A (zh) 一种基于e-gan网络的弥散磁共振数据修复方法
CN118172357A (zh) 基于磁共振扩散张量成像的腰骶丛神经根分割方法、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination