CN109559296B - 基于全卷积神经网络和互信息的医学图像配准方法及系统 - Google Patents

基于全卷积神经网络和互信息的医学图像配准方法及系统 Download PDF

Info

Publication number
CN109559296B
CN109559296B CN201811167038.2A CN201811167038A CN109559296B CN 109559296 B CN109559296 B CN 109559296B CN 201811167038 A CN201811167038 A CN 201811167038A CN 109559296 B CN109559296 B CN 109559296B
Authority
CN
China
Prior art keywords
dimensional
image
dimensional image
registration
mutual information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811167038.2A
Other languages
English (en)
Other versions
CN109559296A (zh
Inventor
潘丹
曾安
王烈基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Dazhi Network Technology Co Ltd
Original Assignee
Guangzhou Dazhi Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dazhi Network Technology Co Ltd filed Critical Guangzhou Dazhi Network Technology Co Ltd
Priority to CN201811167038.2A priority Critical patent/CN109559296B/zh
Publication of CN109559296A publication Critical patent/CN109559296A/zh
Application granted granted Critical
Publication of CN109559296B publication Critical patent/CN109559296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于全卷积神经网络和互信息的医学图像配准方法及系统，方法包括以下步骤：采用全卷积神经网络模型对第一二维图像和第二二维图像进行图像变换得到三维变换参数；根据三维变换参数更新第二三维图像；计算第一三维图像和第二三维图像的互信息值；对互信息值进行迭代优化，得到最优三维变换参数。本发明通过全卷积神经网络得到互信息配准的初始值，使得搜索值在全局最优解附近，从而减少搜索次数，提高配准速度；采用了互信息值进行互信息配准搜索，提高了图像配准的精度。本发明可广泛应用于图像处理领域。

Description

基于全卷积神经网络和互信息的医学图像配准方法及系统
技术领域
本发明涉及图像处理领域，尤其是一种基于全卷积神经网络和互信息的医学图像配准方法及系统。
背景技术
医学图像配准是医学图像分析和计算解剖的一个关键步骤，被广泛应用于疾病诊断、手术导航、人脑图谱和各种医学评价等方面。医学图像配准指的是：寻找一种最优空间变换，使两幅图像的对应点在给定相似性度量下达到空间位置和解剖位置的一致。Woods等人最早在1993年提出基于像素相似性的配准方法并成功应用到PET/MR(正电子发射计算机断层显像仪和核磁共振成像术)影像配准中。Collignon和Maes、Viola和Wells几乎同时信息论中互信息的概念引入到图像配准中，提出了基于互信息的全自动医学图像配准方法，该方法由于其较高的配准精度和广泛的适应性而被认为配准鲁棒性和精度最好的回溯性配准方法之一。但是用互信息方法进行三维配准时，由于三维医学图像数据量大、空间几何变换参数多，经常存在配准速度慢、实时性差等问题。
随着近些年深度学习的快速发展，越来越多的人将深度学习应用到医学图像配准中。Cheng等人通过训练多层感知机来学习一对图像之间的对应关系。Miao等人通过训练卷积神经网络用于回归任务来进行2D-3D刚性配准。Sloan等人提出一种基于卷积神经网络的二维刚性配准模型，能够快速实现二维多模型配准。Yan等人提出一种基于生成对抗网络的AIR-Net来进行图像配准，通过训练生成器和判别器来得到变换参数以及评价配准效果的度量值。虽然该模型的配准速度非常快，但是很难取得较高的配准精度。
上述两种图像配准方式都存在一定的缺点：基于互信息的全自动医学图像配准方法，由于三维医学图像数据量大、空间几何变换参数多，经常存在配准速度慢、实时性差等问题；基于卷积神经网络的图像配准方法，虽然配准速度快，但是难取得较高的配准精度。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种基于全卷积神经网络和互信息的医学图像配准方法及系统。
本发明一方面所采用的技术方案是：一种基于全卷积神经网络和互信息的医学图像配准方法，包括以下步骤：
使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数；
根据二维变换参数计算第一三维图像和第二三维图像的互信息值；
根据互信息值进行互信息配准搜索，得到最优三维变换参数；
根据最优三维变换参数进行图像配准。
进一步地，所述使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数这一步骤，包括：
获取第一二维图像和第二二维图像；
将第一二维图像和第二二维图像输入到全卷积神经网络模型中，得到二维变换参数。
进一步地，所述根据二维变换参数计算第一三维图像和第二三维图像的互信息值这一步骤，包括：
获取第一三维图像；
对二维变换参数进行初始化，得到三维变换参数；
根据三维变换参数得到第二三维图像；
计算第一三维图像和第二三维图像的互信息值。
进一步地，所述第一二维图像为第一三维图像的二维切片图像，所述第二二维图像为第二三维图像的二维切片图像，所述第一二维图像的层数和所述第二二维图像的层数相同。
进一步地，所述根据互信息值进行互信息配准搜索，得到最优三维变换参数这一步骤，具体为：
判断是否满足收敛条件：
若是，则结束互信息配准搜索过程，并以当前互信息对应的三维变换参数作为最优三维变换参数；
反之，则对三维变换参数进行参数优化，然后根据参数优化得到的三维变换参数得到第二三维图像，再计算第一三维图像和第二三维图像的互信息值，直至满足收敛条件，最终得到最优三维变换参数；
其中，所述收敛条件为迭代次数等于800或者三维变换参数的振幅小于0.001。
进一步地，所述使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数这一步骤，还具体包括以下步骤：
对全卷积神经网络模型进行模型训练，其中进行模型训练的损失函数表达式为：
Figure BDA0001821374740000021
其中，E为损失函数，n为配准参数的个数，
Figure BDA0001821374740000022
为通过全卷积神经网络得到的配准参数，yi为标签参数，λi为不同变换参考的权重。
本发明另一方面所采用的技术方案是：
一种基于全卷积神经网络和互信息的医学图像配准系统，包括：
全卷积神经网络单元，用于使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数；
计算单元，用于根据二维变换参数计算第一三维图像和第二三维图像的互信息值；
互信息配准搜索单元，用于根据互信息值进行互信息配准搜索，得到最优三维变换参数；
图像配准单元，用于根据最优三维变换参数进行图像配准。
进一步地，所述全卷积神经网络单元包括：
二维图像获取模块，用于获取第一二维图像和第二二维图像；
二维变换参数获取模块，用于将第一二维图像和第二二维图像输入到全卷积神经网络模型中，得到二维变换参数。
进一步地，所述计算单元包括：
第一三维图像获取模块，用于获取第一三维图像；
参数初始化模块，用于对二维变换参数进行初始化，得到三维变换参数；
第二三维图像获取，用于根据三维变换参数得到第二三维图像；
计算模块，用于计算第一三维图像和第二三维图像的互信息值。
本发明另一方面所采用的技术方案是：
一种基于全卷积神经网络和互信息的医学图像配准系统，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行所述的一种基于全卷积神经网络和互信息的医学图像配准方法。
本发明的有益效果是：本发明基于全卷积神经网络和互信息的医学图像配准方法及系统，先采用全卷积神经网络对二维图像进行配准，再计算三维图像的互信息值并根据互信息值进行互信息配准搜索；通过全卷积神经网络得到互信息配准的初始值，使得搜索值在全局最优解附近，从而减少搜索次数，提高配准速度；采用了互信息值进行互信息配准搜索，提高了图像配准的精度。
附图说明
图1为本发明具体实施例的医学图像配准方法的整体流程图；
图2为本发明具体实施例的医学图像配准系统的结构框图；
图3为本发明具体实施例的医学图像配准方法的算法流程图；
图4为本发明具体实施例的三维图像断截面的轴向图；
图5为本发明具体实施例的三维图像断截面的矢状图；
图6为本发明具体实施例的三维图像断截面的冠状图；
图7为本发明具体实施例的初始化平移前融合图；
图8为本发明具体实施例的初始化平移后融合图；
图9为本发明具体实施例的迭代次数与损失函数值关系曲线图；
图10为本发明具体实施例的二维图像配准融合的参考图；
图11为本发明具体实施例的二维图像配准融合的浮动图；
图12为本发明具体实施例的二维图像配准前融合图；
图13为本发明具体实施例的二维图像配准后融合图；
图14为本发明具体实施例的三维图像配准前轴向图；
图15为本发明具体实施例的三维图像配准前矢状图；
图16为本发明具体实施例的三维图像配准前冠状图；
图17为本发明具体实施例的三维图像配准后轴向图；
图18为本发明具体实施例的三维图像配准后矢状图；
图19为本发明具体实施例的三维图像配准后冠状图；
图20为本发明具体实施例的互信息值与迭代次数的关系曲线图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1，一种基于全卷积神经网络和互信息的医学图像配准方法，包括以下步骤：
S100、使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数；
S200、根据二维变换参数计算第一三维图像和第二三维图像的互信息值；
S300、根据互信息值进行互信息配准搜索，得到最优三维变换参数；
S400、根据最优三维变换参数进行图像配准。
具体地，第一三维图像可以作为配准的三维参考图像，第二三维图像可以作为三维浮动图像(即待配准的图像)，反过来也成立(即第二三维图像可以作为配准的三维参考图像，第一三维图像可以作为三维浮动图像)。
得到最优三维变换参数后，将三维浮动图像按最优三维变换参数进行变换即可完成图像配准操作，从而将三维浮动图像配准至与三维参考图像相同的空间坐标系内。
进一步作为优选的实施方式，所述使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数这一步骤，包括：
获取第一二维图像和第二二维图像；
将第一二维图像和第二二维图像输入到全卷积神经网络模型中，得到二维变换参数。
进一步作为优选的实施方式，所述根据二维变换参数计算第一三维图像和第二三维图像的互信息值这一步骤，包括：
获取第一三维图像；
对二维变换参数进行初始化，得到三维变换参数；
根据三维变换参数得到第二三维图像；
计算第一三维图像和第二三维图像的互信息值。
进一步作为优选的实施方式，所述第一二维图像为第一三维图像的二维切片图像，所述第二二维图像为第二三维图像的二维切片图像，所述第一二维图像的层数和所述第二二维图像的层数相同。
进一步作为优选的实施方式，所述根据互信息值进行互信息配准搜索，得到最优三维变换参数这一步骤，具体为：
判断是否满足收敛条件：
若是，则结束互信息配准搜索过程，并以当前互信息对应的三维变换参数作为最优三维变换参数；
反之，则对三维变换参数进行参数优化，然后根据参数优化得到的三维变换参数得到第二三维图像，再计算第一三维图像和第二三维图像的互信息值，直至满足收敛条件，最终得到最优三维变换参数；
其中，所述收敛条件为迭代次数等于800或者三维变换参数的振幅小于0.001。
具体地，对三维变换参数进行参数优化可以采用随机梯度下降法。
进一步作为优选的实施方式，所述使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数这一步骤，还具体包括以下步骤：
对全卷积神经网络模型进行模型训练，其中进行模型训练的损失函数表达式为：
Figure BDA0001821374740000051
其中，E为损失函数，n为配准参数的个数，
Figure BDA0001821374740000061
为通过全卷积神经网络得到的配准参数，yi为标签参数，λi为不同变换参考的权重。
与图1的方法相对应，如图2所示，本发明实施例还提供了一种基于全卷积神经网络和互信息的医学图像配准系统，包括：
全卷积神经网络单元100，用于使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数；
计算单元200，用于根据二维变换参数计算第一三维图像和第二三维图像的互信息值；
互信息配准搜索单元300，用于根据互信息值进行互信息配准搜索，得到最优三维变换参数；
图像配准单元400，用于根据最优三维变换参数进行图像配准。
进一步作为优选的实施方式，所述全卷积神经网络单元包括：
二维图像获取模块，用于获取第一二维图像和第二二维图像；
二维变换参数获取模块，用于将第一二维图像和第二二维图像输入到全卷积神经网络模型中，得到二维变换参数。
进一步作为优选的实施方式，所述计算单元包括：
第一三维图像获取模块，用于获取第一三维图像；
参数初始化模块，用于对二维变换参数进行初始化，得到三维变换参数；
第二三维图像获取，用于根据三维变换参数得到第二三维图像；
计算模块，用于计算第一三维图像和第二三维图像的互信息值。
与图1的方法相对应，本发明实施例还提供了一种基于全卷积神经网络和互信息的医学图像配准系统，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行本发明所述的基于全卷积神经网络和互信息的医学图像配准方法。
针对现有技术基于互信息的图像配准或基于卷积神经网络的图像配准的问题，本实施例提出了一种基于全卷积神经网络和互信息的医学图像配准方案。该方案是先采用全卷积神经网络模型对二维图像进行配准之后，得到互信息配准的初始值，使得搜索值在全局最优解附近，从而减少搜索次数，提高配准速度，再通过计算图像的互信息值，提高图像配准的精度。该方案可以应用到医学图像处理的各种图像配准中，例如三维CT(ComputedTomography，电子计算机断层扫描)、MRI(Magnetic Resonance Imaging，磁共振成像)头-颈部图像配准等。
以第一三维图像作为配准的三维参考图像，第二三维图像作为三维浮动图像(即待配准的图像)为例，参照图3，本实施例的医学图像配准方法包括以下步骤：
第1步，从预处理后的三维参考图像和三维浮动图像中选取相同层数的一对二维切片，作为二维参考图像和二维浮动图像输入到训练好的全卷积神经网络模型(FullyConvolutional Networks，FCN)中得到二维变换参数
Figure BDA0001821374740000071
Figure BDA0001821374740000072
为第二二维图像沿x和y轴的平移量，
Figure BDA0001821374740000073
为绕xy平面图像中心点的顺时针旋转角度，本实施例以轴向图为xy平面，具体实例如图4所示；矢状图为yz平面，具体实例如图5所示；冠状图为xz平面，具体实例如图6所示。
第2步，将得到的二维变换参数
Figure BDA0001821374740000074
化为三维变换参数
Figure BDA0001821374740000075
Figure BDA0001821374740000076
为浮动图像沿z轴的平移量，
Figure BDA0001821374740000077
为绕yz和xz平面中心点的顺时针旋转角度，其中未得到的参数设置为0，得到互信息搜索算法的初始值
Figure BDA0001821374740000078
第3步，将三维浮动图像按照初始值进行空间变换，通过最近邻插值后，计算与三维参考图像的互信息值，互信息值经过不断的搜索优化直至最大，得到最优三维变换参数
Figure BDA0001821374740000079
其中，搜索优化过程具体为：
判断是否满足收敛条件，若是，则优化结束，得到最优三维变换参数，反之，则进入优化器，采用随机梯度下降法对三维变换参数进行优化，直到满足收敛条件，优化结束，得到最优三维变换参数；
其中，所述收敛条件为迭代次数等于800或者变换参数振幅小于0.001。
第4步，根据最优三维变换参数
Figure BDA00018213747400000710
对三维参考图像和三维浮动图像进行图像配准。
具体地，以CT图像作为三维参考图像，MRI图像作为三维浮动图像为例，应用本发明的方法的具体实现过程如下：
首先，对CT图像和MRI图像进行预处理，预处理过程包括以下三个步骤：
下采样：分别对CT图像、MRI图像进行2倍下采样处理，处理后的CT图像、MRI图像大小分别为256*256和360*360，这样处理的目的是为了尽可能不损失图像信息的同时又能减少模型训练时间；
数值归一化：为了消除图像上奇异像素点所导致的不良影响，分别对CT图像、MRI图像的像素值通过归一化限定在[0，1]之间，公式如下：
Figure BDA0001821374740000081
其中，Xnorm为归一化后的数据，X为原始数据，Xmin和Xmax为原始数据中的最小值和最大值；
重采样：为了配准前CT图像、MRI图像具有相同的空间分辨率、尺寸大小，需要对MRI图像进行重采样滤波操作，将滤波器中校对机的空间分辨率和尺寸大小设置为与CT图像相对应的空间分辨率和尺寸大小，重采样后，MRI图像大小为256*256，空间分辨率为0.97mm*0.97mm。
图像预处理之后，需要对处理之后的MRI图像进行大尺度的平移变换才能将其与处理之后的CT图像配准好，FCN模型需要学习相应的变化范围，只有MRI图像配准所需的变化范围在FCN模型学习范围内，FCN模型才能对其进行配准。为了减小FCN模型的训练范围从而提升FCN模型的性能，本实施例对MRI图像进行初始化平移操作，首先分别读取CT图像、MRI图像的重心坐标，计算两者在Y轴上的重心值差，通过对MRI图像进行重心值差平移变换从而实现初始化平移操作，平移前融合图如图7所示，平移后融合图如图8所示。
对每一份预处理之后的数据进行初始化平移，可以使得FCN学习更精细的变化参数，从而提升模型的鲁棒性。
其次，对处理之后的图像数据进行增强：深度学习通常需要大量的数据进行支持，数据量小往往会造成模型过拟合、鲁棒性差等问题。但是可用于训练的医学图像毕竟有限，为了尽可能提升FCN模型的泛化能力，本实施例使用数据增强的方法来扩充训练样本。首先对每一份配准好的MRI三维数据提取前20张颈部二维切片，通过对选取的二维切片进行随机的平移、旋转变换来获得不同的样本。其中Y方向的平移变换范围为[-80,40]像素点，X方向的平移变换范围为[-30,30]像素点，旋转的角度变换范围为[-15°，15°]，将旋转、平移后的MRI切片和相对应的CT切片作为一份训练样本，同时将所进行的旋转、平移参数作为训练标签，通过对1880(94*20)份切片进行16次数据增强，最终得到了30080份训练样本，其中27200份数据作为训练集，剩下的2880份数据作为测试集。
然后，对FCN模型进行训练：本实施例使用梯度下降法对FCN模型进行参数优化，学习率为1.0，每次训练的样本个数为64，训练次数为10000次，训练过程收敛曲线如图9所示，损失函数为欧式距离，其表达式如下：
Figure BDA0001821374740000091
其中，E为损失函数，n为配准参数的个数，
Figure BDA0001821374740000092
为通过FCN得到的配准参数，yi为标签参数，λi为不同变换参考的权重。经过大量的训练调参，发现将平移参数的权重设为1.1，旋转参数的权重设为1.0，此时，FCN模型的性能最优。
最后，验证训练之后的FCN模型的二维配准效果：本实施例采用互信息值和Dice值评估图像配准结果，其中，Dice＝0表示两者之间没有重叠，Dice＝1表示两者完美的对齐。
具体地，使用300份测试数据测试FCN模型在二维图像上配准的性能，同时使用基于MI(Mutual Information，互信息)的配准方法进行比对，配准结果如图10、图11、图12和图13所示，表1为两种方法在配准精度和速度上的对比。
表1二维图像配准结果对比
配准方案 配准前的Dice值 配准后的Dice值 配准时间T/s
互信息方法 0.394±0.05 0.914±0.015 3.900±0.687
FCN模型 0.394±0.05 0.924±0.012 0.291±0.008
从图10、图11、图12和图13可以看出，在配准前，融合结果有较小的重叠区域，经过FCN模型配准融合后，几乎两者重叠对齐，说明模型能够进行大尺度的配准。
从表1可以看出，本实施例提出的FCN模型在二维图像上的配准效果要好于基于MI的传统方法，且配准所花的时间远远小于基于MI的传统方法，FCN模型能够进行批量处理，一次可进行上百张切片的配准，而基于MI的配准方法一次只能进行一对切片的配准，随着数量的增加，会不断扩大速度上的优势。
在本实施例的基础上，进一步验证本发明提出的基于全卷积神经网络和互信息的医学图像配准方法及系统在三维图像配准上的性能。验证过程中，随机选取5对为配准的CT图像、MRI图像进行测试，CT图像大小为512*512，MRI图像大小为720*720，切片个数从90到120不等，对CT图像预处理之后，CT图像大小为256*256，切片个数不变，对MRI图像预处理、初始化平移操作，处理后的MRI图像大小256*256，切片个数与CT图像切片个数相同，然后随机选取10对CT图像、MRI图像相同层数的二维颈部切片作为训练好的FCN模型输入，从而得到10组变换参数，通过计算Dice值，选取Dice值最高的那组变换参数作为互信息搜索算法初始值进行下一步的迭代优化，得到最优三维变换参数，根据最优三维变换参数对CT图像和MRI图像进行图像配准，同时使用基于MI的三维配准方法进行对比，配准结果如图14、图15、图16、图17、图18和图19所示，对比结果如图20和表2所示。
表2三维图像配准结果对比
Figure BDA0001821374740000101
从表2可以得知，在不损失配准精度的情况下，通过全卷积神经网络得到的变换参数作为互信息搜索的初始值能极大地提升配准速度。
从图14、图15、图16、图17、图18、图19和图20可以得知，采用FCN得到的变换参数作为互信息配准搜索算法的初始值，已经很接近最终结果，能大幅度减少迭代次数，从而提升配准速度。
综上所述，本发明的一种基于全卷积神经网络和互信息的医学图像配准方法及系统，通过FCN模型得到变换参数作为互信息配准搜索算法的初始值，能够大幅度减少互信息搜索算法的迭代次数，提升配准速度；结合了互信息搜索算法来迭代搜索出用于配准的最优三维参数，提升了图像配准的精度。实际的实验测试结果表明，本发明方案提出的FCN模型，在二维刚性配准上，无论是速度和精度上都优于基于互信息的传统方法；在与互信息结合进行三维配准时，能在保证配准精度的基础上，大幅度地提升配准速度，对临床应用中的医学图像配准具有极高的使用价值和借鉴性。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种基于全卷积神经网络和互信息的医学图像配准方法，其特征在于：包括以下步骤：
使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数；
根据二维变换参数计算第一三维图像和第二三维图像的互信息值；
根据互信息值进行互信息配准搜索，得到最优三维变换参数；
根据最优三维变换参数进行图像配准；
其中，所述第一二维图像为第一三维图像的二维切片图像，所述第二二维图像为第二三维图像的二维切片图像，所述第一二维图像的层数和所述第二二维图像的层数相同。
2.根据权利要求1所述的基于全卷积神经网络和互信息的医学图像配准方法，其特征在于：所述使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数这一步骤，包括：
获取第一二维图像和第二二维图像；
将第一二维图像和第二二维图像输入到全卷积神经网络模型中，得到二维变换参数。
3.根据权利要求1所述的基于全卷积神经网络和互信息的医学图像配准方法，其特征在于：所述根据二维变换参数计算第一三维图像和第二三维图像的互信息值这一步骤，包括：
获取第一三维图像；
对二维变换参数进行初始化，得到三维变换参数；
根据三维变换参数得到第二三维图像；
计算第一三维图像和第二三维图像的互信息值。
4.根据权利要求1所述的基于全卷积神经网络和互信息的医学图像配准方法，其特征在于：所述根据互信息值进行互信息配准搜索，得到最优三维变换参数这一步骤，具体为：
判断是否满足收敛条件：
若是，则结束互信息配准搜索过程，并以当前互信息对应的三维变换参数作为最优三维变换参数；
反之，则对三维变换参数进行参数优化，然后根据参数优化得到的三维变换参数得到第二三维图像，再计算第一三维图像和第二三维图像的互信息值，直至满足收敛条件，最终得到最优三维变换参数；
其中，所述收敛条件为迭代次数等于800或者三维变换参数的振幅小于0.001。
5.根据权利要求2所述的基于全卷积神经网络和互信息的医学图像配准方法，其特征在于：所述使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数这一步骤，还具体包括以下步骤：
对全卷积神经网络模型进行模型训练，其中进行模型训练的损失函数表达式为：
Figure FDA0002457919450000021
其中，E为损失函数，n为配准参数的个数，
Figure FDA0002457919450000022
为通过全卷积神经网络得到的配准参数，yi为标签参数，λi为不同变换参考的权重。
6.一种基于全卷积神经网络和互信息的医学图像配准系统，其特征在于：包括：
全卷积神经网络单元，用于使用全卷积神经网络对第一二维图像和第二二维图像进行二维配准，得到二维变换参数；
计算单元，用于根据二维变换参数计算第一三维图像和第二三维图像的互信息值；
互信息配准搜索单元，用于根据互信息值进行互信息配准搜索，得到最优三维变换参数；
图像配准单元，用于根据最优三维变换参数进行图像配准；
其中，所述第一二维图像为第一三维图像的二维切片图像，所述第二二维图像为第二三维图像的二维切片图像，所述第一二维图像的层数和所述第二二维图像的层数相同。
7.根据权利要求6所述的基于全卷积神经网络和互信息的医学图像配准系统，其特征在于，所述全卷积神经网络单元包括：
二维图像获取模块，用于获取第一二维图像和第二二维图像；
二维变换参数获取模块，用于将第一二维图像和第二二维图像输入到全卷积神经网络模型中，得到二维变换参数。
8.根据权利要求6所述的基于全卷积神经网络和互信息的医学图像配准系统，其特征在于，所述计算单元包括：
第一三维图像获取模块，用于获取第一三维图像；
参数初始化模块，用于对二维变换参数进行初始化，得到三维变换参数；
第二三维图像获取，用于根据三维变换参数得到第二三维图像；
计算模块，用于计算第一三维图像和第二三维图像的互信息值。
9.一种基于全卷积神经网络和互信息的医学图像配准系统，其特征在于，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行如权利要求1-5任一项所述的基于全卷积神经网络和互信息的医学图像配准方法。
CN201811167038.2A 2018-10-08 2018-10-08 基于全卷积神经网络和互信息的医学图像配准方法及系统 Active CN109559296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811167038.2A CN109559296B (zh) 2018-10-08 2018-10-08 基于全卷积神经网络和互信息的医学图像配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811167038.2A CN109559296B (zh) 2018-10-08 2018-10-08 基于全卷积神经网络和互信息的医学图像配准方法及系统

Publications (2)

Publication Number Publication Date
CN109559296A CN109559296A (zh) 2019-04-02
CN109559296B true CN109559296B (zh) 2020-08-25

Family

ID=65864871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811167038.2A Active CN109559296B (zh) 2018-10-08 2018-10-08 基于全卷积神经网络和互信息的医学图像配准方法及系统

Country Status (1)

Country Link
CN (1) CN109559296B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11200676B2 (en) 2020-01-17 2021-12-14 Verily Life Sciences Llc Shift invariant loss for deep learning based image segmentation
CN114596344B (zh) * 2020-12-04 2024-03-19 杭州三坛医疗科技有限公司 医学图像配准参数的确定方法、装置、设备及存储介质
CN112598028B (zh) * 2020-12-10 2022-06-07 上海鹰瞳医疗科技有限公司 眼底图像配准模型训练方法、眼底图像配准方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020976A (zh) * 2012-12-31 2013-04-03 中国科学院合肥物质科学研究院 一种基于带权模糊互信息的三维医学图像配准方法及系统
CN103886586A (zh) * 2014-02-18 2014-06-25 南京邮电大学 一种基于互信息和梯度信息结合的医学图像配准方法
CN104751438A (zh) * 2013-12-31 2015-07-01 同方威视技术股份有限公司 用于交互地对医学三维图像配准的方法和设备
CN106408509A (zh) * 2016-04-29 2017-02-15 上海联影医疗科技有限公司 一种配准方法及其装置
CN107798697A (zh) * 2017-10-26 2018-03-13 中国科学院深圳先进技术研究院 一种基于卷积神经网络的医学图像配准方法、系统及电子设备
CN108053431A (zh) * 2018-02-24 2018-05-18 中原工学院 一种基于梯度分布的非刚体医学图像配准方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602007002048D1 (de) * 2007-02-09 2009-10-01 Agfa Gevaert Visuelle Hervorhebung von Intervalländerungen mittels einer Zeitsubtraktionstechnik
CN104835112B (zh) * 2015-05-07 2018-06-08 厦门大学 一种肝脏多相期ct图像融合方法
CN106447704B (zh) * 2016-10-13 2019-04-19 西北工业大学 基于显著区域特征和边缘度的可见光-红外图像配准方法
CN106683081B (zh) * 2016-12-17 2020-10-30 复旦大学 基于影像组学的脑胶质瘤分子标记物无损预测方法和预测系统
CN108537773B (zh) * 2018-02-11 2022-06-17 中国科学院苏州生物医学工程技术研究所 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020976A (zh) * 2012-12-31 2013-04-03 中国科学院合肥物质科学研究院 一种基于带权模糊互信息的三维医学图像配准方法及系统
CN104751438A (zh) * 2013-12-31 2015-07-01 同方威视技术股份有限公司 用于交互地对医学三维图像配准的方法和设备
CN103886586A (zh) * 2014-02-18 2014-06-25 南京邮电大学 一种基于互信息和梯度信息结合的医学图像配准方法
CN106408509A (zh) * 2016-04-29 2017-02-15 上海联影医疗科技有限公司 一种配准方法及其装置
CN107798697A (zh) * 2017-10-26 2018-03-13 中国科学院深圳先进技术研究院 一种基于卷积神经网络的医学图像配准方法、系统及电子设备
CN108053431A (zh) * 2018-02-24 2018-05-18 中原工学院 一种基于梯度分布的非刚体医学图像配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于FCN 和互信息的医学图像配准技术研究;曾安 等;《计算机工程与应用》;20200108;1-10页 *

Also Published As

Publication number Publication date
CN109559296A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
Zhang et al. Detecting anatomical landmarks from limited medical imaging data using two-stage task-oriented deep neural networks
CN108416802B (zh) 一种基于深度学习的多模医学图像非刚性配准方法及系统
US11010630B2 (en) Systems and methods for detecting landmark pairs in images
JP6505124B2 (ja) 適応性放射線治療における自動輪郭抽出システム及び方法
Wright et al. Construction of a fetal spatio-temporal cortical surface atlas from in utero MRI: Application of spectral surface matching
CN109559296B (zh) 基于全卷积神经网络和互信息的医学图像配准方法及系统
JP2021535482A (ja) 深層学習ベースのコレジストレーション
WO2020134826A1 (zh) 磁共振并行成像方法及相关设备
Zhao et al. S3Reg: superfast spherical surface registration based on deep learning
WO2024021523A1 (zh) 基于图网络的大脑皮层表面全自动分割方法及系统
WO2011109710A1 (en) Hierarchical atlas-based segmentation
CN111080658A (zh) 基于可形变配准和dcnn的宫颈mri图像分割方法
CN112884820A (zh) 一种影像初始配准及神经网络的训练方法、装置和设备
Sun et al. Medical Image Registration via Neural Fields
CN113706514B (zh) 基于模板图像的病灶定位方法、装置、设备及存储介质
Zhao et al. Deep learning in cortical surface-based neuroimage analysis: a systematic review
Heitz et al. Statistical shape model generation using nonrigid deformation of a template mesh
Alvén et al. Überatlas: fast and robust registration for multi-atlas segmentation
CN110517300A (zh) 基于局部结构算子的弹性图像配准算法
CN116563096B (zh) 用于图像配准的形变场的确定方法、装置以及电子设备
Liu et al. Tensor-based descriptor for image registration via unsupervised network
Roozgard et al. Medical image registration using sparse coding and belief propagation
CN112686932A (zh) 用于医学影像的图像配准方法及图像处理方法、介质
CN108596900B (zh) 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备
Honkamaa et al. Deformation equivariant cross-modality image synthesis with paired non-aligned training data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 262, floor 1, 2, No. 37, zhusigang 2nd Road, Yuexiu District, Guangzhou City, Guangdong Province 510000

Applicant after: Guangzhou Dazhi Network Technology Co., Ltd

Address before: 510000 self compiled A05-1, 507 west seat 2, Shui Yin Road, Yuexiu District, Guangzhou, Guangdong.

Applicant before: GUANGZHOU CITY BENZHEN NETWORK TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant