CN116485853A - 一种基于深度学习神经网络的医学图像配准方法和装置 - Google Patents

一种基于深度学习神经网络的医学图像配准方法和装置 Download PDF

Info

Publication number
CN116485853A
CN116485853A CN202310429352.8A CN202310429352A CN116485853A CN 116485853 A CN116485853 A CN 116485853A CN 202310429352 A CN202310429352 A CN 202310429352A CN 116485853 A CN116485853 A CN 116485853A
Authority
CN
China
Prior art keywords
registration
medical image
image
neural network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310429352.8A
Other languages
English (en)
Inventor
黄炳顶
闫岩
苏李一磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Technology University
Original Assignee
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Technology University filed Critical Shenzhen Technology University
Priority to CN202310429352.8A priority Critical patent/CN116485853A/zh
Publication of CN116485853A publication Critical patent/CN116485853A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习神经网络的医学图像配准方法和装置，首先对待配准的医学图像对进行预处理，采用结合U‑Net卷积神经网络和注意力机制的配准模型，预测医学图像对中的固定图像和移动图像之间的形变场并根据形变场获得配准图像以将配准图像和固定图像配准。通过卷积神经网络提取局部特征，使用注意力机制学习局部特征的权重，并提取全局特征，特征提取充分，配准精度高。

Description

一种基于深度学习神经网络的医学图像配准方法和装置
技术领域
本发明涉及图像配准技术领域，尤其涉及的是一种基于深度学习神经网络的医学图像配准方法及装置。
背景技术
在做医学图像分析时，经常要将同一患者几幅图像放在一起分析，从而得到该患者的多方面的综合信息，提高医学诊断和治疗的水平。对几幅不同的图像作定量分析，首先要解决这几幅图像的严格对齐问题，这就是图像的配准。医学图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置。配准的结果应使两幅图像上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。医学图像的配准为医生分析和诊断病人病情提供了重要依据，是医学影像分析中最关键的预处理步骤。
目前基于深度学习神经网络的配准方法主要采用有监督学习或无监督学习生成配准图像以和基准图像进行配准。在有监督学习中，由于难以提供真实形变场数据对网络模型进行训练，网络模型训练不充分；而在无监督学习中容易发生错误匹配的情况；导致生成的配准图像不够精准，配准精度不高。
因此，现有技术有待改进和提高。
发明内容
本发明的主要目的在于提供一种基于深度学习神经网络的医学图像配准方法、装置、智能终端及存储介质，能够解决目前生成的配准图像不够精准，配准精度不高的问题。
为了实现上述目的，本发明第一方面提供一种基于深度学习神经网络的医学图像配准装置，其中，上述装置包括：
数据预处理模块，用于对待配准的医学图像对进行预处理，获得预处理后的医学图像对，所述待配准的医学图像对包括固定图像和移动图像；
配准模型，基于U-Net卷积神经网络构建而成，所述配准模型的跳跃连接为基于注意力机制的多层网络模型，所述配准模型用于预测所述固定图像和所述移动图像之间的形变场并根据所述形变场获得配准图像。
可选的，所述配准模型的最后一层设有三个卷积核，每个所述卷积核用于获得一个维度的位移场。
可选的，所述多层网络模型的每一层均包括一个卷积补丁嵌入模块和若干个Transformer编码块，所述Transformer编码块的数量与所述Transformer编码块所在层的层级序号相同。
可选的，从所述多层网络模型的第二层开始，还包括前馈层，并且将上一层的输出通过残差连接加入至当前层以及将前馈层的输出以补丁的方式加入至所述卷积补丁嵌入模块。
可选的，所述前馈层包括多层感知机和两个隐藏层，所述隐藏层之间设有深度卷积层。
本发明第二方面提供一种基于深度学习神经网络的医学图像配准方法，所述方法包括：
对待配准的医学图像对进行预处理，获得预处理后的医学图像对，所述待配准的医学图像对包括固定图像和移动图像；
将预处理后的医学图像对输入训练好的配准模型，所述配准模型基于U-Net卷积神经网络构建而成，所述配准模型的跳跃连接为基于注意力机制的多层网络模型，所述配准模型用于预测所述固定图像和所述移动图像之间的形变场并根据所述形变场获得配准图像。
可选的，所述对待配准的医学图像对进行预处理，包括：
分别计算所述待配准的医学图像对中各医学图像的质心坐标；
以所述质心坐标为中心，将各医学图像分别裁剪至目标尺寸。
可选的，训练所述配准模型，包括：
对带有掩膜标签的医学图像对样本进行预处理，所述医学图像对样本包括固定图像和移动图像；
提取所述固定图像、所述移动图像的特征，获得由空间变换参数组成的形变场；
根据所述形变场对所述移动图像进行空间变化，获得配准图像；
计算所述配准图像的掩膜标签和所述固定图像的掩膜标签之间的Dice损失值，根据所述Dice损失值优化所述配准模型。
本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于深度学习神经网络的医学图像配准程序，上述基于深度学习神经网络的医学图像配准程序被上述处理器执行时实现任意一项上述基于深度学习神经网络的医学图像配准方法的步骤。
本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于深度学习神经网络的医学图像配准程序，上述基于深度学习神经网络的医学图像配准程序被处理器执行时实现任意一项上述基于深度学习神经网络的医学图像配准方法的步骤。
由上可见，与现有技术相比，本发明首先对待配准的医学图像对进行预处理，采用U-Net卷积神经网络和注意力机制相结合的配准模型，预测医学图像对中的固定图像和移动图像之间的形变场并根据形变场获得配准图像。通过卷积神经网络提取局部特征，使用注意力机制学习局部特征的权重，并提取全局特征，特征提取充分，生成精准的配准图像，配准精度高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的基于深度学习神经网络的医学图像配准装置的结构示意图；
图2是图1实施例中改进后U-Net卷积神经网络的结构示意图；
图3是图1实施例中多层网络模型的结构示意图；
图4是图1实施例中的配准模型的训练框架示意图；
图5是本发明实施例提供的基于深度学习神经网络的医学图像配准方法的具体流程示意图；
图6是本发明实施例提供的训练配准模型的具体流程示意图；
图7是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
医学图像的配准为医生分析和诊断病人病情提供了重要依据，是医学影像分析中最关键的预处理步骤。它的目的是寻找一种空间变换，使得两幅或多幅医学图像建立起解剖对应关系。
目前基于深度学习神经网络的配准方法主要采用有监督学习或无监督学习生成配准图像以和基准图像进行配准。在有监督学习中，由于难以提供真实形变场数据对网络模型进行训练，网络模型训练不充分；而在无监督学习中容易发生错误匹配的情况，特别是对于产生大位移的目标器官，导致生成的配准图像不够精准，配准精度不高。
针对上述问题，本发明提出了一种基于深度学习神经网络的医学图像配准装置和方法，通过对U-Net卷积神经网络进行改进提取图像的局部特征，并结合transformer注意力机制提取图像的全局特征，即使对于产生大位移的目标器官也能产生良好的配准效果，生成精准的配准图像，提高配准精度。
示例性装置
如图1所示，本发明实施例提供了一种基于深度学习神经网络的医学图像配准装置，运行于智能终端、PC、医院的后台服务器等电子设备上，用于对肺部和肾部的三维CT图像进行配准。上述装置主要包括：数据预处理模块600和配准模型610，数据预处理模块600用来将待配准的医学图像对分割为统一尺寸以及进行灰度化等操作，获得预处理后的医学图像对。待配准的医学图像对包括固定图像和移动图像，固定图像作为配准的基准，移动图像用来进行形变，生成配准图像，然后与固定图像进行配准。以肾部CT为例，由于未加强的平扫CT影像只能较模糊地看到肾脏轮廓，无法看到其他解剖结构，不利于标注标签，因此需要与增强CT进行对比，本实施例包括三期CT图像，即平扫、排泄及皮质，其中平扫为正常CT图像，作为对比基准；排泄和皮质作为增强期CT分别与平扫期CT进行配准。
将医学图像对输入配准模型610后，配准模型610预测固定图像和移动图像之间的形变场并根据形变场获得配准图像。即配准模型610预测出固定图像和移动图像之间的形变场后，将形变场作用在移动图像上，获得配准图像，以实现和固定图像的配准。
由于三维医学图像分辨率高，单独一张影像占内存较大，因此为了提高计算效率，先在数据预处理模块600中对医学图像对中的医学图像进行预处理操作。例如：先对医学图像进行重采样，使得每张医学图像的像素单位统一，在一个示例中，将所有CT影像都重采样为1mm×1mm×1mm的图像。然后根据质心公式计算医学图像的质心坐标，根据质心坐标来裁剪每张医学图像为统一的尺寸。其中，计算质心坐标(x0,y0,z0)的公式为：
根据上述质心坐标公式分别计算出肺部医学图像或肾部医学图像的质心位置，以质心坐标作为图像中心，将肺部医学图像和肾部医学图像裁剪至256×256×128大小，并且裁剪后的图像能够包含整个目标器官。再将裁剪后的图像进行灰度归一化处理。通过对医学图像进行裁剪操作，可以减少配准模型610的计算量，提高计算效率。
需要说明的是，对医学图像进行裁剪的方法不限，根据质心坐标进行切割只是其中的一种示例，还可以采用其他图像处理方法进行切割，如边缘分割方法等。
基于U-Net结构的卷积神经网络，在训练的过程中不需要获得真实形变场等相关监督信息，直接预测整个空间变换的形变场。本发明在U-Net卷积神经网络的基础上进行改进，去除了对配准没有贡献的网络部分，并且针对三维医学图像进行了相应处理，使图像的特征经过网络处理后，得到充分保留和利用，更好地约束回归网络进行参数的学习，获得配准模型610。
配准模型610包括一个编码器和一个解码器，参考图2所示，左边为编码器，右边为解码器。编码器由步长为2的卷积层组成，用来实现上采样，提取高维特征向量；解码器由上采样和步长为1的卷积层组成，用来完成低维特征向量向高维特征向量重构。配准模型610中每个卷积层后连接的激活函数为LeakyRelu。图2中输入图像对由移动图像和固定图像拼接在一起，形成2通道图像；实线表示步长为n的卷积操作，每个卷积层后接一个激活函数；虚线表示上采样操作。与常用的卷积神经网络不同的是：卷积层后舍弃池化层，采用步长为2的卷积核代替池化层进行下采样操作，避免丢失图像各区域之间的相对位置信息；因为医学图像是三维的，所以网络的输出图像也是3维，每个维度各需要一个位移场，在网络的最后一层设计了3个卷积核，每个卷积核用于获得一个维度的位移场。
虽然改进后的卷积神经网络对于配准任务表现优秀，但是在面对器官位置或形状发生较大改变时，生成的配准图像的精准度仍然不够高。针对此问题，对配准模型610进一步改进，对transformer注意力模块进行结构上的改进，获得基于注意力机制的多层网络模型。然后将多层网络模型作为U-Net卷积神经网络的跳跃连接，最终保证在配准过程中提取到全局的特征。经过上述改进后，配准模型610可以对从卷积网络中提取的低层特征进行学习，通过注意力门将低层和高层特征结合起来，为每个高层特征进行权重赋值。通过先进行粗略的全局配准，再利用注意力机制进行精细化配准，使得生成的配准图像更精准，提高配准的精度。
如图3所示，多层网络模型由3层结构组成，所有层级的模型结构相同，均包括一个卷积补丁嵌入模块(convolutional patch embedding)和Ni(i代表层级，第几层就有几个块)个Transformer编码块。每个Transformer编码块中包含一个交替多层自注意力模块(alternating multi-layer self-attention module)和一个卷积前馈层(convolutionalfeed-forward layer)。因为对配准没有帮助，所以删除注意力机制中自身的归一化操作；并且从多层网络模型的第二层开始还设有前馈层(图中的MPL Head)，将上一层的输出通过残差连接的方式加入到本层的嵌入补丁层以及将前馈层的输出以补丁的方式加入至卷积补丁嵌入模块。
卷积前馈层中包含多层感知机(MLP)和两个隐藏层，以补丁的方式应用到卷积补丁嵌入模块，同时为了保留局部特征，在两个隐藏层之间加入一个3×3×3的深度卷积层。经过上述改动后，既能去除对配准没有帮助的网络结构层，减少运算量，又能保证全局的大位移等特征一直保留。
通过采用注意力机制对三维医学图像进行配准，能够利用卷积视觉转换器的全局连通性和局部性以及多分辨率策略来学习全局配准，使得卷积神经网络负责局部特征的提取，注意力机制模块对卷积神经赋值局部特征权重进行学习，为全局特征赋予权重，负责全局特征的提取。将Transformer与U-Net卷积神经网络结合后，由于自注意力机制的使用，可以打破卷积核尺寸的限制，对于目标器官发生大形变和大位移的配准任务更加适用。
训练配准模型610时，如图4所示，以标签数据为驱动。临床专家对于肺部和肾部的三期CT数据的轮廓进行精准标注，选择三期影像CT各600例作为实验数据。向配准模型610输入包含固定图像和移动图像的待配准图像对，通过网络训练后得到空间变换的参数，使用损失函数对参数进行反向传播并更新，最终得到的空间变换作用于移动图像的对应标签上，得到变形后的标签，与固定图像的对应标签进行比较得出配准效果。具体地，将平扫期的CT数据作为固定图像，排泄和皮质期的CT作为移动图像，整体配准过程为排泄和皮质期图像分别与平扫期CT进行配准。通过计算标签之间的Dice值对配准的结果进行定量比较分析。
训练过程中以epoch作为循环单位，每例病人对应肾部和肺部的平扫期、皮质期和排泄期三期CT图像，以平扫CT作为固定图像，排泄和皮质CT作为移动图像，分别配准。每期图像各600例，选择500例作为训练集，100例为验证集。配准模型初始学习率设为0.001，优化器选择Adam，当验证集中的误差没有明显降低的时候，保存表现最好的模型作为配准模型的结果。
本实施例采用弱监督学习训练配准模型，将医学图像数据对应的掩膜mask作为训练标签，利用标签对的相似度损失和正则化损失对网络进行训练。降低了对高质量医学图像数据集的依赖，不需要提供待配准图像对的真实形变场，并且使用标签的相似度代替图像相似度，可以解决难以计算多模态图像相似性的难题并且训练效果好。
示例性方法
本发明实施例还提供一种基于深度学习神经网络的医学图像配准方法。具体的，如图5所示，本实施例包括如下步骤：
步骤S100：对待配准的医学图像对进行预处理，获得预处理后的医学图像对，上述待配准的医学图像对包括固定图像和移动图像。
具体地，分别计算待配准的医学图像对中各医学图像的质心坐标，以质心坐标为中心，将各医学图像分别裁剪至目标尺寸，如256×256×128，然后进行灰度归一化，获得预处理后的医学图像对。
步骤S200：将预处理后的医学图像对输入训练好的配准模型，配准模型基于U-Net卷积神经网络构建而成，配准模型的跳跃连接为基于注意力机制的多层网络模型，配准模型用于预测固定图像和移动图像之间的形变场并根据形变场获得配准图像。
具体地，在U-Net结构的卷积神经网络上进行改进创新，去除了对配准没有贡献的网络部分，并且针对三维医学图像进行了处理，使图像的特征经过网络处理后，得到充分保留和利用，更好地约束回归网络进行参数的学习。并对注意力机制模块进行改造，使得其适用于配准网络中，作为卷积神经网络的跳跃连接。利用卷积视觉转换器的全局连通性和局部性以及多分辨率策略来学习全局配准，达到既能关注全局的大位移、大形变，同时也能提取局部重要特征完成配准的目的。
如图6所示，训练配准模型的步骤包括：
步骤S300：对带有掩膜标签的医学图像对样本进行预处理，医学图像对样本包括固定图像和移动图像。
步骤S400：提取固定图像、移动图像的特征，获得由空间变换参数组成的形变场。
步骤S500：根据形变场对所述移动图像进行空间变化，获得配准图像。
步骤S600：计算配准图像的掩膜标签和固定图像的掩膜标签之间的Dice损失值，根据Dice损失值优化配准模型。
具体地，每例病人对应肾部和肺部的平扫期、皮质期和排泄期三期CT图像，以平扫CT作为固定图像，排泄或皮质CT作为移动图像，每张医学图像均进行了人工掩膜标注，作为医学图像对样本用于对配准模型进行训练。
首先对待配准图像进行重采样和裁剪工作，定位目标器官的质心位置。统一输入配准网络图像的尺寸，去除图像噪声，减小计算量。对输入图像进行特征提取，自动提取空间变换参数，获得由空间变换参数组成的形变场，根据形变场对移动图像进行转换，最终得到配准图像，将配准图像的掩膜标签与固定图像的掩膜标签进行Dice值的计算，定量的得出配准的精度效果，根据Dice值对配准模型进行迭代优化。
具体的，本实施例中，上述基于深度学习神经网络的医学图像配准方法的各步骤的具体功能可以参照上述基于深度学习神经网络的医学图像配准装置中的对应描述，在此不再赘述。
综上所述，本实施例提供的基于深度学习神经网络的医学图像配准方法，采用了弱监督的学习策略，使用标签数据进行变形和配准，通过transformer模块学习卷积神经网络对局部特征的提取方式，并应用到全局特征提取上，同时赋予权重，能够提高配准精度。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图7所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和基于深度学习神经网络的医学图像配准程序。该内存储器为非易失性存储介质中的操作系统和基于深度学习神经网络的医学图像配准程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该基于深度学习神经网络的医学图像配准程序被处理器执行时实现上述任意一种基于深度学习神经网络的医学图像配准方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图7中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于深度学习神经网络的医学图像配准程序，上述基于深度学习神经网络的医学图像配准程序被上述处理器执行时进行以下操作指令：
对待配准的医学图像对进行预处理，获得预处理后的医学图像对，所述待配准的医学图像对包括固定图像和移动图像；
将预处理后的医学图像对输入训练好的配准模型，所述配准模型基于U-Net卷积神经网络构建而成，所述配准模型的跳跃连接为基于注意力机制的多层网络模型，所述配准模型用于预测所述固定图像和所述移动图像之间的形变场并根据所述形变场获得配准图像。
可选的，所述对待配准的医学图像对进行预处理，包括：
分别计算所述待配准的医学图像对中各医学图像的质心坐标；
以所述质心坐标为中心，将各医学图像分别裁剪至目标尺寸。
可选的，训练所述配准模型，包括：
对带有掩膜标签的医学图像对样本进行预处理，所述医学图像对样本包括固定图像和移动图像；
提取所述固定图像、所述移动图像的特征，获得由空间变换参数组成的形变场；
根据所述形变场对所述移动图像进行空间变化，获得配准图像；
计算所述配准图像的掩膜标签和所述固定图像的掩膜标签之间的Dice损失值，根据所述Dice损失值优化所述配准模型。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于深度学习神经网络的医学图像配准程序，上述基于深度学习神经网络的医学图像配准程序被处理器执行时实现本发明实施例提供的任意一种基于深度学习神经网络的医学图像配准方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.基于深度学习神经网络的医学图像配准装置，其特征在于，所述装置包括：
数据预处理模块，用于对待配准的医学图像对进行预处理，获得预处理后的医学图像对，所述待配准的医学图像对包括固定图像和移动图像；
配准模型，基于U-Net卷积神经网络构建而成，所述配准模型的跳跃连接为基于注意力机制的多层网络模型，所述配准模型用于预测所述固定图像和所述移动图像之间的形变场并根据所述形变场获得配准图像。
2.如权利要求1所述的基于深度学习神经网络的医学图像配准装置，其特征在于，所述配准模型的最后一层设有三个卷积核，每个所述卷积核用于获得一个维度的位移场。
3.如权利要求1所述的基于深度学习神经网络的医学图像配准装置，其特征在于，所述多层网络模型的每一层均包括一个卷积补丁嵌入模块和若干个Transformer编码块，所述Transformer编码块的数量与所述Transformer编码块所在层的层级序号相同。
4.如权利要求3所述的基于深度学习神经网络的医学图像配准装置，其特征在于，从所述多层网络模型的第二层开始，还包括前馈层，并且将上一层的输出通过残差连接加入至当前层以及将前馈层的输出以补丁的方式加入至所述卷积补丁嵌入模块。
5.如权利要求4所述的基于深度学习神经网络的医学图像配准装置，其特征在于，所述前馈层包括多层感知机和两个隐藏层，所述隐藏层之间设有深度卷积层。
6.基于深度学习神经网络的医学图像配准方法，其特征在于，所述方法包括：
对待配准的医学图像对进行预处理，获得预处理后的医学图像对，所述待配准的医学图像对包括固定图像和移动图像；
将预处理后的医学图像对输入训练好的配准模型，所述配准模型基于U-Net卷积神经网络构建而成，所述配准模型的跳跃连接为基于注意力机制的多层网络模型，所述配准模型用于预测所述固定图像和所述移动图像之间的形变场并根据所述形变场获得配准图像。
7.如权利要求6所述的基于深度学习神经网络的医学图像配准方法，其特征在于，所述对待配准的医学图像对进行预处理，包括：
分别计算所述待配准的医学图像对中各医学图像的质心坐标；
以所述质心坐标为中心，将各医学图像分别裁剪至目标尺寸。
8.如权利要求6所述的基于深度学习神经网络的医学图像配准方法，其特征在于，训练所述配准模型，包括：
对带有掩膜标签的医学图像对样本进行预处理，所述医学图像对样本包括固定图像和移动图像；
提取所述固定图像、所述移动图像的特征，获得由空间变换参数组成的形变场；
根据所述形变场对所述移动图像进行空间变化，获得配准图像；
计算所述配准图像的掩膜标签和所述固定图像的掩膜标签之间的Dice损失值，根据所述Dice损失值优化所述配准模型。
9.智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于深度学习神经网络的医学图像配准程序，所述基于深度学习神经网络的医学图像配准程序被所述处理器执行时实现如权利要求6-8任意一项所述基于深度学习神经网络的医学图像配准方法的步骤。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于深度学习神经网络的医学图像配准程序，所述基于深度学习神经网络的医学图像配准程序被处理器执行时实现如权利要求6-8任意一项所述基于深度学习神经网络的医学图像配准方法的步骤。
CN202310429352.8A 2023-04-14 2023-04-14 一种基于深度学习神经网络的医学图像配准方法和装置 Pending CN116485853A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310429352.8A CN116485853A (zh) 2023-04-14 2023-04-14 一种基于深度学习神经网络的医学图像配准方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310429352.8A CN116485853A (zh) 2023-04-14 2023-04-14 一种基于深度学习神经网络的医学图像配准方法和装置

Publications (1)

Publication Number Publication Date
CN116485853A true CN116485853A (zh) 2023-07-25

Family

ID=87217259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310429352.8A Pending CN116485853A (zh) 2023-04-14 2023-04-14 一种基于深度学习神经网络的医学图像配准方法和装置

Country Status (1)

Country Link
CN (1) CN116485853A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197203A (zh) * 2023-09-08 2023-12-08 北京医智影科技有限公司 一种形变配准模型训练、剂量叠加方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197203A (zh) * 2023-09-08 2023-12-08 北京医智影科技有限公司 一种形变配准模型训练、剂量叠加方法及装置
CN117197203B (zh) * 2023-09-08 2024-02-20 北京医智影科技有限公司 一种形变配准模型训练、剂量叠加方法及装置

Similar Documents

Publication Publication Date Title
Khan et al. Deep neural architectures for medical image semantic segmentation
CN112102373A (zh) 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法
Wismüller et al. The deformable feature map-a novel neurocomputing algorithm for adaptive plasticity in pattern analysis
CN113888475A (zh) 图像检测方法及相关模型的训练方法、相关装置和设备
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN113096137B (zh) 一种oct视网膜图像领域适应分割方法及系统
Hussain et al. Deep learning-based diagnosis of disc degenerative diseases using MRI: a comprehensive review
CN115423754A (zh) 一种图像分类方法、装置、设备及存储介质
CN116485853A (zh) 一种基于深度学习神经网络的医学图像配准方法和装置
CN117274599A (zh) 一种基于组合双任务自编码器的脑磁共振分割方法及系统
CN117218453A (zh) 一种不完备多模态医学影像学习方法
CN112750131A (zh) 基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统
Zhang et al. A Spine Segmentation Method under an Arbitrary Field of View Based on 3D Swin Transformer
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
Chaisangmongkon et al. External validation of deep learning algorithms for cardiothoracic ratio measurement
Sha et al. A robust segmentation method based on improved U-Net
CN114881930A (zh) 基于降维定位的3d目标检测方法、装置、设备和存储介质
Sohail et al. A modified U-net based framework for automated segmentation of Hippocampus region in brain MRI
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法
CN114332463A (zh) 一种mr脑肿瘤图像实例分割方法、装置、设备及存储介质
Al-Eiadeh Automatic Lung Field Segmentation using Robust Deep Learning Criteria
EP2178046A2 (en) Multi-image correlation
Sangwan et al. Lung cancer detection using deep learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination