CN116883462A - 基于loftr网络模型和改进粒子群算法的医学图像配准方法 - Google Patents

基于loftr网络模型和改进粒子群算法的医学图像配准方法 Download PDF

Info

Publication number
CN116883462A
CN116883462A CN202310775755.8A CN202310775755A CN116883462A CN 116883462 A CN116883462 A CN 116883462A CN 202310775755 A CN202310775755 A CN 202310775755A CN 116883462 A CN116883462 A CN 116883462A
Authority
CN
China
Prior art keywords
image
registration
particle swarm
loftr
drr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310775755.8A
Other languages
English (en)
Inventor
许贤
谢世朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310775755.8A priority Critical patent/CN116883462A/zh
Publication of CN116883462A publication Critical patent/CN116883462A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于深度学习的图像分割和配准技术领域，公开了基于LOFTR网络模型和改进粒子群算法的医学图像配准方法，包括：将CT数据经数字重建放射影像技术生成DRR图像；将X射线透视图像与生成的DRR图像经过图像增强和图像分割后输入LOFTR特征匹配神经网络，得到粗配准的结果；将粗配准得到的位置参数作为精配准的初始解，利用改进的粒子群算法得到最终的六个空间变换参数。本发明提供的方法，对图像进行分割保留感兴趣的骨节部分，再利用深层的特征识别匹配网络提高对高噪声图像处理的鲁棒性，对脊椎骨节的特征点进行识别并计算相似度进行粗配准，最后进行精配准确定六个空间变换参数，在保证精度的同时，提高了配准速度。

Description

基于LOFTR网络模型和改进粒子群算法的医学图像配准方法
技术领域
本发明涉及基于深度学习的图像分割和配准技术领域，特别涉及一种基于LOFTR网络模型和改进粒子群算法的医学图像配准方法。
背景技术
近年来随着成像技术的迅速发展，医学图像被广泛用于辅助医学手术、临床诊断、患者治疗等方面。传统意义上的二维平面影像技术如计算机X线摄影(DR)等，在医学上帮助的局限性日益显现。正电子发射断层成像(Positron Emission Tomography，PET)、计算机断层成像(computed tomography，CT)等三维成像方法解决了二维图像提供病征信息少的局限性，这种成像方法可以立体而直观的展示患者体内的器官的三维信息，给医生提供充足而精确的病灶信息数据。但是这类成像技术辐射较高、操作复杂、成像时间长，对工作环境要求严苛，也使之在临床医治、手术上的使用受限。通常在脊柱手术中，采用的是X光图像这类二维图像，这种成像方法辐射较低也能较好的适应手术中的环境，最主要是它成像速度较快，在术中能够即拍即成，不会耽误手术进程。因此若能将术中的二维XR透视数据与术前的三维CT数据进行配准，就能结合两者长处，对手术导航提供精准且快速的帮助。
据此，达到维度统一的方法不止一种，配准结果通过最大化图像梯度、灰度、轮廓特征等的相似性来变换图像对应点上的空间位置。目前的配准算法大致分为两类，一类是基于灰度，另一类是基于特征。
基于灰度的配准方法是目前应用最广泛也是研究最多的方法。它需要利用数字重建放射影像(digital reconstruction radiography，DRR)技术，将术前的三维CT图像投影成二维DRR图像，与术中的透射图像进行基于灰度的相似性度量。其中DRR生成算法，参数搜索算法以及目标函数的选择会对配准的精度以及速度产生重大影响，因此研究方向大致围绕这三个点。比如基于GPU的DRR生成算法，跳出传统基于CPU的方法，大大提高了DRR生成速度。Slab算法从算法角度提高了DRR生成速度，但是这种方法的匹配误差较大，相似性测度性能比较差。在目标函数的选择上，提出了融合归一化互信息和梯度差分的相似性测度指标作为目标函数来适应不同的XR图像，提高鲁棒性。在参数搜索算法上，除了针对最优化算法的改进，还有例如为了进一步降低2D/3D配准过程中的大量计算，提出空间参数解耦的方法来配准。使用梯度方向加权直方图提取图像的信息，计算直方图之间的相似性从而求得旋转参数和平移参数，完成配准。
基于特征的配准方法分为基于标记物和内部固有特征两类，标记物指的是利用打入患者体内的钛钉等作为配准的定位点，但是这类方法会对患者身体造成额外的伤害。基于内部固有特征的方法指的是提取目标组织已存在的特征点，例如轮廓，角点等，据此进行匹配，与上述提到的在目标函数中加入梯度差分项有异曲同工之妙。用sobel和laplas算子提取骨骼的边缘特征进行配准，这种方法利用了图像除灰度外的更多信息，对精度的提升有显着效果，但是他们的实验数据只有模型数据，所以图像的梯度信息与骨骼结构相吻合，但是真实人体数据中有很多其他器官的干扰，会带来很多干扰项，严重的会将骨骼的梯度信息淹没在噪声里。还有很多研究使用的数据是头骨数据，没有其他器官的干扰，噪声更小。
近几年深度学习的迅速发展，使得很多研究者将神经网络应用到配准任务上来，特别在特征识别方面，卷积神经网络有着很高的精度及极快的速度。但是一方面，目前暂时没有公开的利用深度学习实现2D/3D刚性配准的网络，不同的网络结构会极大的影响配准效果，开源网络大多是端到端的非刚性配准例如VoxelMorph，主要针对血管等组织的变化进行非刚性配准，但对于椎骨来说，骨性结构因为病人体位的变化导致的位移是刚性变化，现有的非刚性配准方法显然不可行。
另一方面，因为医疗数据的特殊性，训练数据极度匮乏，导致深度学习不是精度不如传统方法，就是泛化性很差，但是对于临床医学来说，精度的不足使得深度学习引以为傲的速度变的毫无意义。
另一方面，现有的针对骨节配准的实验都是对整条脊柱进行配准，而成人脊柱共有26块椎骨，但是在手术导航过程中一般只针对部分椎骨进行手术。若XR图像不包含整条脊柱，只包含部分椎骨，此时与包含部分椎骨的DRR图像进行配准时，椎骨节数不一致，会有错位的情况出现。
发明内容
本发明提供了一种基于LOFTR网络模型和改进粒子群算法的医学图像配准方法，利用deeplabv3plus分割模型对图像进行分割，保留感兴趣的骨节部分，再利用深层的特征识别匹配网络提高对高噪声图像处理的鲁棒性，对脊椎骨节的特征点进行识别并计算相似度进行粗配准，再利用改进的粒子群算法进行精配准确定六个空间变换参数，在保证精度的同时，利用深度学习提高了配准速度，同时利用灰度与脊柱特征信息，提出了添加了特征点相似度项的目标函数，以此控制下降方向，提升精度并加快收敛速度。
本发明提供了一种基于LOFTR网络模型和改进粒子群算法的医学图像配准方法，包括：
S1、将CT数据经数字重建放射影像技术生成DRR图像；
S2、将X射线透视图像与生成的DRR图像经过图像增强和图像分割后输入LOFTR特征匹配神经网络，得到粗配准的结果；
S3、将粗配准得到的位置参数作为精配准的初始解，利用改进的粒子群算法得到最终的六个空间变换参数。
进一步地，在步骤S2中，图像增强包括：对所述X射线透视图像和DRR图像进行旋转、缩放、图像的对比度调整和图像的饱和度调整；
图像分割包括：采用DeepLabV3plus分割模型将X射线透视图像中所有的椎骨分割出来，并将DRR图像中感兴趣的连续椎骨分割出来并与X射线透视图像中椎骨数保持一致，以分别进行配准，保留相似度最高的分割后的DRR图像和对应的空间转换参数。
进一步地，在步骤S2中，将经过图像增强和图像分割后的X射线透视图像和DRR图像输入LOFTR特征匹配神经网络，得到X射线透视图像和DRR图像中骨骼特征点的对应关系，LOFTR特征匹配神经网络包括特征点检测网络，能够同时提取像素精度的特征点位置以及描述子，所述特征点检测网络为全卷积网络FCNN，以使特征点的检测具有旋转和平移不变性。
进一步地，对分割后的X射线透视图像和DRR图像进行相似度计算包括：
将分割后的X射线透视图像和DRR图像分别记为I1，I2，其相似度计算公式为：
其中，NCC只针对图像的灰度做相似性度量，为了更大化的利用图像信息，脊柱的特征同时作为相似性度量的衡量标准，图像对的特征点相似性度量采用所有特征点坐标组成的向量的余弦距离：
sim_points＝(cosine_distance([x11,x12…x1i],[x21,x22…x2j])+cosine_distance([y21,y22…y2i],[y21,y22…y2j]))/2
其中，x,y为特征点的坐标值；
将特征点的相似性度量sim_points与NCC结合，得到新的相似性度量NP：
NP＝w1×0.5×(1-NCC)+w2×k×sim_points
其中，w1和w2均为0.5，k为统一两者数量级的系数。
进一步地，步骤S3中，改进的粒子群算法包括：
设置最大迭代次数，目标函数的自变量个数，粒子的最大速度，位置信息为整个搜索空间，在速度区间和搜索空间上随机初始化速度和位置，设置粒子群规模为M，每个粒子随机初始化一个速度；
定义适应度函数，个体极值为每个粒子找到的最优解，从这些最优解找到一个全局值，作为本次全局最优解，与历史全局最优比较，进行更新；
更新速度和位置的公式为：
其中，W为根据迭代次数线性下降的自适应权重，wmax为最大权重，wmin为最小权重，iter为当前迭代次数，ger为最大迭代次数。
V＝w×V+c1×rand×(gbest-X)+c2×rand×(zbest-X)
其中，V为更新的速度，rand为0～1之间的随机数，gbest为局部最优位置，zbest为全局最优解，c1、c2为速度因子，分别控制向局部以及全局最优解的靠近速度；
对粒子速度和位置的更新方式采用基于特征点的深度学习算法，利用特征点的描述子筛选得到最后的匹配特征点对后得到所有匹配特征点的坐标，以进行速度和位置的更新。
进一步地，利用特征点的描述子筛选得到最后的匹配特征点对后得到所有匹配特征点的坐标，包括：
因为网络的平移不变性，可以得到DRR图像和X射线透视图像的在三个轴向上的平移距离为：
detx＝{x11-x21,x12-x22…x1i-x2i}
dety＝{y11-y21,y12-y22…y1i-y2i}
其中，detx和dety是匹配的特征点在两个轴向上的平移差向量，当两幅图像不是完全一致时，选取向量的中位数作为图像的位移差，此时，Z轴的平移transz通过几何推导得到：
transx＝median(detx)
transy＝median(dety)
其中，median(det)是取向量中位数的算法。
另一个Z轴的平移在二维的DRR图中表现出的是图像的放缩：
其中，x/y是两图特征匹配点的坐标范围之比，SOD是射线源到体数据的距离，为已知量。
进一步地，进行速度和位置的更新包括：
将计算得到的三个轴向的平移值加入到粒子群算法的迭代当中，辅助粒子群的更新，在每次计算X射线透视图像和DRR影像的相似度时，旋转参数采取原先策略，在三个平移参数的更新上，直接用teansx,trandy,transz代替更新的速度和方向，作为更加可靠的更新方向，对于最后的配准结果，DRR影像中脊柱的空间位置应与XR影像中脊柱的空间位置一致，若是因为旋转导致的平移，只需在下次更新旋转参数后继续计算平移差即可，因此只需要迭代搜索三个旋转参数即可完成配准。
本发明的有益效果为：
本发明将迭代优化算法(粒子群算法)与深度学习特征检测与匹配算法相结合，取长补短提升算法整体的速度和精度。具体包括三个方面：
1、将特征点检测与匹配算法用于粗配准，输出精配准粒子群算法的初始解，粗配准没有复杂的迭代过程，不需要精确的解，能充分发挥深度学习网络的优势，实验中将原先粗配准的时间缩短了大约88.9％。
2、以特征点检测与匹配算法优化粒子群算法的参数位置和速度更新模块，根据网络输出的特征点的坐标规律计算XR图像和DRR图像的平移偏差，借此直接优化位移参数，大幅提升了位移参数的收敛速度并减少了算法的整体计算量。
3、将特征点检测与匹配算法参与到相似性度量的设计中，提升不同模态的图像间相似度衡量的稳定性；针对脊柱中部分椎骨进行配准，当椎骨节数不一致容易出现错位的问题，通过图像分割技术将XR中所有的椎骨都分割出来，再将DRR图像中感兴趣的连续椎骨分割出来并与XR椎骨数保持一致，分别进行配准，保留相似度最高的分割后的DRR图像和对应的空间转换参数，成功解决椎骨配准错位问题。
附图说明
图1为本发明背景技术中XR与DRR所含椎骨节数不一致时错位情况示意图。
图2为本发明的医学图像配准方法的流程示意图。
图3为本发明中原始的粒子群算法流程示意图。
图4为本发明中匹配特征点示意图。
图5为本发明中Z轴平移示意图。
图6为本发明中特征匹配网络配准流程示意图。
图7为本发明中不匹配图像对特征点匹配结果示意图。
图8为本发明中匹配图像对特征点匹配结果示意图。
图9为本发明中DeepLabV3plus网络结构图示意图。
图10为本发明中椎骨分割示意图示意图。
图11为本发明中未优化的粒子群算法在模型数据的七组实验结果示意图。
图12为本发明中优化的粒子群算法在模型数据的七组实验结果示意图。
图13为本发明中优化前后粒子群算法收敛情况示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
2D/3D医学图像配准在术中影像导航有着广泛的应用，既能辅助医生精准定位病灶，也是手术机器人定位手术点的关键一环。针对目前的2D/3D脊柱配准方法容易陷入局部最优，无法在大噪声的真实数据中提取梯度信息，速度慢且深度学习训练数据量不足等问题，以及针对脊柱中部分椎骨进行配准，当椎骨节数不一致容易出现错位的问题。本发明在配准的过程中加入分割来解决椎骨配准错位问题，在真实人体数据上使用一种半监督的特征点匹配网络来加速配准，使用通用模型识别医学图像特征点，提高噪声环境下的鲁棒性。另外在粗配准的图像预处理阶段对图像进行增强，保障CT和DRR的不同模态不同角度下生成的图像质量。最后，在最优参数搜索方法的目标函数里加入骨性结构特征点坐标的余弦距离项，以此控制下降方向和速度，将迭代搜索算法的精度提升。
如图1所示，本发明提供了一种基于LOFTR网络模型和改进粒子群算法的医学图像配准方法，主要分为图像预处理，粗配准以及精配准三部分，具体包括：
S1、图像预处理：将CT数据经数字重建放射影像技术生成DRR图像；
S2、粗配准：将X射线透视图像(XR图像)与生成的DRR图像经过图像增强和图像分割后输入LOFTR特征匹配神经网络，得到粗配准的结果。
如图6、7、8所示，基于深度学习的LOFTR特征匹配网络，深度学习之于传统算法的优点是耗时短，速度快，实际应用时只需要权重与输入数据间进行简单的运算，但是在精度上却不如传统算法那样精准可控，且需要大量训练数据，这在医学相关算法的研究中很难实现，所以本发明将深度学习应用于粗配准，提升整体的配准速度，在精配准中依旧使用以优化算法为基础的传统算法保证配准精度。为了解决数据量不足的问题，网络采用半监督形式并用大量自然图片训练通用模型，识别物体的点特征而不是形状特征，使得其在医学图像上也能有较好的识别精度。
脊柱骨节和棘突部分的特征点较为密集，本发明构建的特征匹配网络的输入是XR和DRR的二维图像，输出是两张图像中骨骼特征点的对应关系。LOFTR网络能够同时提取像素精度的特征点位置以及描述子，构建的特征点检测网络为全卷积网络(FCNN)，且对训练数据进行了旋转，缩放等数据增强，因此特征点的检测具有旋转和平移不变性，切合脊柱在空间上的平移旋转变换的实际情形。
同时，不同模态不同角度的数据投影出的图片质量参差不齐，本发明在检测特征点之前增加图像增强模块，自动调整图像对的对比度，饱和度等，利于提高后续步骤的精度。
图像增强包括：对所述X射线透视图像和DRR图像进行旋转、缩放、图像的对比度调整和图像的饱和度调整；
图像分割包括：采用DeepLabV3plus分割模型将X射线透视图像中所有的椎骨分割出来，并将DRR图像中感兴趣的连续椎骨分割出来并与X射线透视图像中椎骨数保持一致，以分别进行配准，保留相似度最高的分割后的DRR图像和对应的空间转换参数。
如图9所示，DeepLabV3plus是一个用于语义分割的模型，提出了新的encoder-decoder结构，采用DeepLabv3作为编码器模块，并使用一个简单而有效的解码器模块。该模型可通过atrous卷积(空洞卷积)来控制所提取的编码器特征的分辨率，从而权衡精度和运行时间。此外，该网络还将Xception模型用于分割任务，并将深度可分离卷积(DepthwiseSeparable Convolution)应用空洞空间卷化池化金字塔(Atrous Spatial PyramidPooling，ASPP)模块和解码器模块，从而得到更快更强的encoder-decoder网络。
如图10所示，现有的针对骨节配准的实验都是对整条脊柱进行配准，而成人脊柱共有26块椎骨，但是在手术导航过程中一般只针对部分椎骨进行手术。若XR图像不包含整条脊柱，只包含部分椎骨，此时与包含部分椎骨的DRR图像进行配准时，椎骨节数不一致，会有错位的情况出现。针对脊柱中部分椎骨进行配准，当椎骨节数不一致容易出现错位的问题，本发明通过图像分割技术将XR中所有的椎骨都分割出来，再将DRR图像中感兴趣的连续椎骨分割出来并与XR椎骨数保持一致，分别进行配准，保留相似度最高的分割后的DRR图像和对应的空间转换参数，成功解决椎骨配准错位问题。
对分割后的X射线透视图像和DRR图像进行相似度计算，为基于归一化互相关NCC和深度学习LOFTR模型的相似性度量。
图像相似性的度量方法有NCC(normalized cross correlation)，归一化互相关算法，SSIM(Structural Similarity)结构相似性指标等，NCC的相似性测度基于整幅图像的灰度，将分割后的X射线透视图像和DRR图像分别记为I1，I2，其相似度计算(NCC的计算)公式为：
其中，NCC只针对图像的灰度做相似性度量，为了更大化的利用图像信息，脊柱的特征同时作为相似性度量的衡量标准，考虑对于真实人体数据，其他器官的影响不利于脊柱梯度的提取，而特征匹配网络的特征提取结果对其他噪声的影响更加鲁棒，图像对的特征点相似性度量采用所有特征点坐标组成的向量的余弦距离：
sim_points＝(cosine_distance([x11,x12…x1i],[x21,x22…x2j])+cosine_distance([y21,y22…y2i],[y21,y22…y2j]))/2
其中，x,y为特征点的坐标值；
将特征点的相似性度量sim_points与NCC结合，得到新的相似性度量NP：
NP＝w1×0.5×(1-NCC)+w2×k×sim_points
其中，w1和w2均为0.5，k为统一两者数量级的系数。
S3、精配准：将粗配准得到的位置参数作为精配准的初始解，利用改进的粒子群算法得到最终的六个空间变换参数。
基于投影策略的2D/3D医学图像配准需要求解六个空间变换的旋转平移参数，而对于没有标记物的图像对，无法构建对应方程，也就没有解析解，因此只能通过迭代搜索的方式求最优解。
脊柱配准有六个维度的变量需要求解，很容易陷入局部最优，因此选择随机优化的算法，即粒子群算法，并对粒子群算法进行优化。
粒子群算法源于对鸟群觅食行为的研究，用一种粒子来模拟上述的鸟类个体，每个粒子可视为N维搜索空间中的一个搜索个体，粒子的当前位置即为对应优化问题的一个候选解，粒子的飞行过程即为该个体的搜索过程.粒子的飞行速度可根据粒子历史最优位置和种群历史最优位置进行动态调整.粒子仅具有两个属性：速度和位置，速度代表移动的快慢，位置代表移动的方向。每个粒子单独搜寻的最优解叫做个体极值，粒子群中最优的个体极值作为当前全局最优解。不断迭代，更新速度和位置。最终得到满足终止条件的最优解。
如图3所示，原始的粒子群算法包括：
1、初始化
设置最大迭代次数，目标函数的自变量个数，粒子的最大速度，位置信息为整个搜索空间，在速度区间和搜索空间上随机初始化速度和位置，设置粒子群规模为M，每个粒子随机初始化一个速度；
2、个体极值与全局最优解
定义适应度函数，个体极值为每个粒子找到的最优解，从这些最优解找到一个全局值，作为本次全局最优解，与历史全局最优比较，进行更新；
3、更新速度和位置的公式为：
其中，W为根据迭代次数线性下降的自适应权重，wmax为最大权重，wmin为最小权重，iter为当前迭代次数，ger为最大迭代次数。
V＝w×V+c1×rand×(gbest-X)+c2×rand×(zbest-X)
其中，V为更新的速度，rand为0～1之间的随机数，gbest为局部最优位置，zbest为全局最优解，c1、c2为速度因子，分别控制向局部以及全局最优解的靠近速度，默认均为经验值2，这样更容易保持收敛速度和搜索效果的均衡。
对粒子群算法进行优化为对粒子速度和位置的更新方式采用基于特征点的深度学习算法，利用特征点的描述子筛选得到最后的匹配特征点对后得到所有匹配特征点的坐标，以进行速度和位置的更新。
粒子群的迭代策略实质上是首先保持方向的大体正确，并尽可能加强跳出局部最优的能力，随着搜索范围的缩小，最终到达全局最优附近。这样的策略导致了算法对于初始解的过度依赖，也就是搜索范围与最优解的距离远近会极大影响算法收敛需要的迭代次数。因此本发明对粒子速度和位置的更新方式作了进一步优化，提供更为精确的迭代方向和速度，给粒子的随机性增加一定的确定性，就能更快的达到收敛条件，找到全局最优解。
基于特征点的深度学习算法提供了可能，如图4所示，在Superglue中利用特征点的描述子筛选得到最后的匹配特征点对后，能得到所有匹配特征点的坐标：
因为网络的平移不变性，可以得到浮动图像(DRR影像)和目标图像(XR影像)的在三个轴向上的平移距离，为：
detx＝{x11-x21,x12-x22…x1i-x2i}
dety＝{y11-y21,y12-y22…y1i-y2i}
其中，detx和dety是匹配的特征点在两个轴向上的平移差向量，理想情况下，一个向量中的所有值应保持一致，也就是所有特征点之间的连线保持绝对的平行，当两幅图像并不是完全一致时，因为向量的方差依旧应保持在一个较小程度，也就是大多数连线保持大致平行，因此选取向量的中位数作为图像的位移差。
此时，Z轴的平移transz通过几何推导得到：
transx＝median(detx)
transy＝median(dety)
其中，median(det)是取向量中位数的算法。
另一个轴向(Z轴)的较为特殊，因为它在二维的DRR图中表现出的是图像的放缩，如图5所示：
其中，x/y是两图特征匹配点的坐标范围之比，SOD是射线源到体数据的距离，为已知量，由硬件设备决定。
将计算得到的三个轴向的平移值加入到粒子群算法的迭代当中，辅助粒子群的更新，在每次计算X射线透视图像和DRR影像的适应值(相似度)时，旋转参数采取原先策略，在三个平移参数的更新上，直接用transx,transy,transz代替更新的速度和方向，作为更加可靠的更新方向，对于最后的配准结果，DRR影像中脊柱的空间位置应与XR影像中脊柱的空间位置一致，若是因为旋转导致的平移，只需在下次更新旋转参数后继续计算平移差即可，因此只需要迭代搜索三个旋转参数即可完成配准，减少了将近一半的计算量。
如图11、12、13所示，在图11和12中的rx，ry，rz，tx，ty，tz分别为在x，y，z轴的旋转和平移参数与真值的差值，能看到优化后的粒子群算法在精度和收敛速度上均得到了明显的提升，六组人体数据中未优化的粒子群算法的平均误差为2.950mm，优化后的粒子群算法的平均距离误差(精度)为0.961mm。同时在算法的运行速度上，从图13中可看到未优化的粒子群算法在第10次迭代收敛，而优化的粒子群算法在第4次迭代就已收敛。虽然未优化的粒子群算法也达到收敛，但是最终精度不如优化后的算法，因此可判断为陷入了局部最优，很有可能是因为随着迭代次数的增加，粒子飞行速度下降减弱了算法跳出局部最优的能力，而优化的粒子群算法能在迭代前期寻速向收敛域靠近，在算法跳出局部的能力保持在较高水准之时尽可能靠近全局最优，提高在约束算力(迭代次数)情况下的配准精度。
本发明将粗配准与精配准相结合，提出了基于深度学习的LOFTR特征匹配网络模型和传统的随机优化算法相结合的2D/3D配准算法；通过将3个轴向上的平移距离加入粒子群算法的迭代过程当中，大大提升了粒子群算法的精度和收敛速度，使得粒子群算法得到很大的优化；提出了将归一化互相关NCC和深度学习LOFTR模型相结合的相似性度量，同时利用灰度与脊柱特征信息，有效控制下降方向，大大提升精度并加快收敛速度；在配准过程中引入deeplabv3plus分割模型对需配准的图像进行分割，有效解决了XR和DRR椎骨骨节数不一致的特定场景下出现的配准错位问题。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于LOFTR网络模型和改进粒子群算法的医学图像配准方法，其特征在于，包括：
S1、将CT数据经数字重建放射影像技术生成DRR图像；
S2、将X射线透视图像与生成的DRR图像经过图像增强和图像分割后输入LOFTR特征匹配神经网络，得到粗配准的结果；
S3、将粗配准得到的位置参数作为精配准的初始解，利用改进的粒子群算法得到最终的六个空间变换参数。
2.根据权利要求1所述的基于LOFTR网络模型和改进粒子群算法的医学图像配准方法，其特征在于，在步骤S2中，图像增强包括：对所述X射线透视图像和DRR图像进行旋转、缩放、图像的对比度调整和图像的饱和度调整；
图像分割包括：采用DeepLabV3plus分割模型将X射线透视图像中所有的椎骨分割出来，并将DRR图像中感兴趣的连续椎骨分割出来并与X射线透视图像中椎骨数保持一致，以分别进行配准，保留相似度最高的分割后的DRR图像和对应的空间转换参数。
3.根据权利要求2所述的基于LOFTR网络模型和改进粒子群算法的医学图像配准方法，其特征在于，在步骤S2中，将经过图像增强和图像分割后的X射线透视图像和DRR图像输入LOFTR特征匹配神经网络，得到X射线透视图像和DRR图像中骨骼特征点的对应关系，LOFTR特征匹配神经网络包括特征点检测网络，能够同时提取像素精度的特征点位置以及描述子，所述特征点检测网络为全卷积网络FCNN，以使特征点的检测具有旋转和平移不变性。
4.根据权利要求2所述的基于LOFTR网络模型和改进粒子群算法的医学图像配准方法，其特征在于，对分割后的X射线透视图像和DRR图像进行相似度计算包括：
将分割后的X射线透视图像和DRR图像分别记为I1，I2，其相似度计算公式为：
其中，NCC只针对图像的灰度做相似性度量，为了更大化的利用图像信息，脊柱的特征同时作为相似性度量的衡量标准，图像对的特征点相似性度量采用所有特征点坐标组成的向量的余弦距离：
sim_points＝(cosine_distance([x11,x12…x1i],[x21,x22…x2j])+cosine_distance([y21,y22…y2i],[y21,y22…y2j]))/2
其中，x,y为特征点的坐标值；
将特征点的相似性度量sim_points与NCC结合，得到新的相似性度量NP：
NP＝w1×0.5×(1-NCC)+w2×k×sim_points
其中，w1和w2均为0.5，k为统一两者数量级的系数。
5.根据权利要求1所述的基于LOFTR网络模型和改进粒子群算法的医学图像配准方法，其特征在于，步骤S3中，改进的粒子群算法包括：
设置最大迭代次数，目标函数的自变量个数，粒子的最大速度，位置信息为整个搜索空间，在速度区间和搜索空间上随机初始化速度和位置，设置粒子群规模为M，每个粒子随机初始化一个速度；
定义适应度函数，个体极值为每个粒子找到的最优解，从这些最优解找到一个全局值，作为本次全局最优解，与历史全局最优比较，进行更新；
更新速度和位置的公式为：
其中，W为根据迭代次数线性下降的自适应权重，wmax为最大权重，wmin为最小权重，iter为当前迭代次数，ger为最大迭代次数。
V＝w×V+c1×rand×(gbest-X)+c2×rand×(zbest-X)
其中，V为更新的速度，rand为0～1之间的随机数，gbest为局部最优位置，zbest为全局最优解，c1、c2为速度因子，分别控制向局部以及全局最优解的靠近速度；
对粒子速度和位置的更新方式采用基于特征点的深度学习算法，利用特征点的描述子筛选得到最后的匹配特征点对后得到所有匹配特征点的坐标，以进行速度和位置的更新。
6.根据权利要求5所述的基于LOFTR网络模型和改进粒子群算法的医学图像配准方法，其特征在于，利用特征点的描述子筛选得到最后的匹配特征点对后得到所有匹配特征点的坐标，包括：
因为网络的平移不变性，可以得到DRR图像和X射线透视图像的在三个轴向上的平移距离为：
detx＝{x11-x21,x12-x22…x1i-x2i}
dety＝{y11-y21,y12-y22…y1i-y2i}
其中，detx和dety是匹配的特征点在两个轴向上的平移差向量，当两幅图像不是完全一致时，选取向量的中位数作为图像的位移差，此时，Z轴的平移transz通过几何推导得到：
transx＝median(detx)
transy＝median(dety)
其中，median(det)是取向量中位数的算法。
另一个Z轴的平移在二维的DRR图中表现出的是图像的放缩：
其中，x/y是两图特征匹配点的坐标范围之比，SOD是射线源到体数据的距离，为已知量。
7.根据权利要求6所述的基于LOFTR网络模型和改进粒子群算法的医学图像配准方法，其特征在于，进行速度和位置的更新包括：
将计算得到的三个轴向的平移值加入到粒子群算法的迭代当中，辅助粒子群的更新，在每次计算X射线透视图像和DRR影像的相似度时，旋转参数采取原先策略，在三个平移参数的更新上，直接用transx,transy,transz代替更新的速度和方向，作为更加可靠的更新方向，对于最后的配准结果，DRR影像中脊柱的空间位置应与XR影像中脊柱的空间位置一致，若是因为旋转导致的平移，只需在下次更新旋转参数后继续计算平移差即可，因此只需要迭代搜索三个旋转参数即可完成配准。
CN202310775755.8A 2023-06-28 2023-06-28 基于loftr网络模型和改进粒子群算法的医学图像配准方法 Pending CN116883462A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310775755.8A CN116883462A (zh) 2023-06-28 2023-06-28 基于loftr网络模型和改进粒子群算法的医学图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310775755.8A CN116883462A (zh) 2023-06-28 2023-06-28 基于loftr网络模型和改进粒子群算法的医学图像配准方法

Publications (1)

Publication Number Publication Date
CN116883462A true CN116883462A (zh) 2023-10-13

Family

ID=88259508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310775755.8A Pending CN116883462A (zh) 2023-06-28 2023-06-28 基于loftr网络模型和改进粒子群算法的医学图像配准方法

Country Status (1)

Country Link
CN (1) CN116883462A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422746A (zh) * 2023-10-23 2024-01-19 武汉珈和科技有限公司 分区非线性地理配准方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422746A (zh) * 2023-10-23 2024-01-19 武汉珈和科技有限公司 分区非线性地理配准方法、装置、设备及存储介质
CN117422746B (zh) * 2023-10-23 2024-06-21 武汉珈和科技有限公司 分区非线性地理配准方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Guan et al. A review of point feature based medical image registration
US11890063B2 (en) System and methods for a trackerless navigation system
Song et al. A review on medical image registration as an optimization problem
CN107403446B (zh) 用于使用智能人工代理的图像配准的方法和系统
CN113298854B (zh) 基于标记点的图像配准方法
Ibragimov et al. Segmentation of pathological structures by landmark-assisted deformable models
Che et al. Ultrasound registration: A review
Zhu et al. Automatic segmentation of the left atrium from MR images via variational region growing with a moments-based shape prior
JP5832938B2 (ja) 画像処理装置、方法及びプログラム
Wu et al. Three-dimensional modeling from endoscopic video using geometric constraints via feature positioning
dos Santos et al. Pose-independent surface matching for intra-operative soft-tissue marker-less registration
CN113570627B (zh) 深度学习分割网络的训练方法及医学图像分割方法
He et al. Fast automatic 3D liver segmentation based on a three‐level AdaBoost‐guided active shape model
CN111080700A (zh) 医疗器械图像检测方法及装置
CN111080676B (zh) 一种通过在线分类跟踪内窥镜图像序列特征点的方法
CN115082493A (zh) 基于形状引导对偶一致性的3d心房图像分割方法及系统
CN115690178A (zh) 基于深度学习的跨模块非刚体配准方法、系统及介质
Cheema et al. Image-aligned dynamic liver reconstruction using intra-operative field of views for minimal invasive surgery
CN116883462A (zh) 基于loftr网络模型和改进粒子群算法的医学图像配准方法
CN115272429A (zh) 基于特征点的图像配准方法、系统和计算机可读存储介质
Schwab et al. Multimodal medical image registration using particle swarm optimization with influence of the data's initial orientation
CN116612166A (zh) 一种多模态影像的配准融合算法
Urschler et al. Assessing breathing motion by shape matching of lung and diaphragm surfaces
Wodzinski et al. Application of demons image registration algorithms in resected breast cancer lodge localization
Zhu et al. A novel method for 3D knee anatomical landmark localization by combining global and local features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination