CN115049709A - 一种面向脊柱微创手术导航的深度学习点云腰椎配准方法 - Google Patents

一种面向脊柱微创手术导航的深度学习点云腰椎配准方法 Download PDF

Info

Publication number
CN115049709A
CN115049709A CN202210578192.9A CN202210578192A CN115049709A CN 115049709 A CN115049709 A CN 115049709A CN 202210578192 A CN202210578192 A CN 202210578192A CN 115049709 A CN115049709 A CN 115049709A
Authority
CN
China
Prior art keywords
lumbar
spine
point cloud
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210578192.9A
Other languages
English (en)
Other versions
CN115049709B (zh
Inventor
戴修斌
陈思恩
朱书进
冒添逸
刘天亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210578192.9A priority Critical patent/CN115049709B/zh
Publication of CN115049709A publication Critical patent/CN115049709A/zh
Application granted granted Critical
Publication of CN115049709B publication Critical patent/CN115049709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，包括：采集术前和术中的脊柱CT图像；将脊柱CT图像输入训练好的三维V型深度分割网络模型进行分割，获取术前和术中的腰椎CT图像；通过形态学方法消除腰椎CT图像中的孤立点；通过点云转换方法将消除孤立点后的术前和术中的腰椎CT图像转换为相应的腰椎三维点云集合；对术前和术中的腰椎三维点云集合进行最近邻点迭代，完成术前与术中的脊柱CT图像中的腰椎配准；本发明能够减少图像拍摄次数同时实现腰椎图像的快速配准。

Description

一种面向脊柱微创手术导航的深度学习点云腰椎配准方法
技术领域
本发明涉及一种面向脊柱微创手术导航的深度学习点云腰椎配准装置，属于医学图像处理技术领域。
背景技术
图像引导手术(Image-Guided Surgery,IGS)图像引导手术系统结合了医学图像处理、空间定位和计算机视觉等技术，通过对手术区域解剖结构的三维重建、目标识别和图像配准获取手术器械与患者手术区域解剖结构的相对位置和姿态关系，同时利用增强现实显示技术将导航结果实时显示用于引导微创脊柱手术的实施。图像引导手术系统能够解决微创脊柱手术尤其是经皮穿刺实施过程中不可视问题，对手术器械植入、椎骨退行性病变等临床手术操作具有重要的现实意义。Hwang等人利用术中获取的多幅二维图像重建三维模型，实现与术前三维图像的配准。但是，术中多幅X线图像的拍摄过程增加了医生和患者的辐射暴露，特别是长期实施手术的外科医生，X线辐射的积累会导致潜在的致病危险。Moura等人提出一种双平面重建技术，其采用可变形铰链模型作为统计学先验知识，通过提取腰椎中线并利用正位和侧位两幅X线图像重建出腰椎的三维模型，实现了2D-3D腰椎图像的配准，但是不同维度的配准算法较为复杂。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，能够减少图像拍摄次数同时实现腰椎图像的快速配准。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，包括：
采集术前和术中的脊柱CT图像；
将脊柱CT图像输入训练好的三维V型深度分割网络模型进行分割，获取术前和术中的腰椎CT图像；
通过形态学方法消除腰椎CT图像中的孤立点；
通过点云转换方法将消除孤立点后的术前和术中的腰椎CT图像转换为相应的腰椎三维点云集合；
对术前和术中的腰椎三维点云集合进行最近邻点迭代获取最优旋转矩阵和平移向量；
通过最优旋转矩阵和平移向量对三维点云集合进行变换处理，完成术前与术中的脊柱CT图像中的腰椎配准。
可选的，所述三维V型深度分割网络模型的训练包括：
获取脊柱CT图像并添加腰椎轮廓标注生成样本图像，并根据样本图像构建训练集；
基于训练集利用Adam算法训练三维V型深度分割网络模型，调整模型参数直至损失函数最小。
可选的，所述添加腰椎轮廓标注包括将脊柱CT图像中属于腰椎的体素标注为1，不属于腰椎的体素标注为0；
所述损失函数Ldice为：
Figure BDA0003662869050000021
式中，Gi为脊柱CT图像中体素i的标注信息，Pi为脊柱CT图像中体素i标注为1的概率；N为脊柱CT图像中体素数量。
可选的，所述三维V型深度分割网络模型包括对称的编码器和解码器；
所述编码器包括依次连接的一个输入层和四个下采样层，所述输入层通过残差操作与输入图像进行单位加法，然后通过四个所述下采样层逐层进行下采样输出特征图；所述输入层的图像输入维度为64×64×64，并使用5×5×5的卷积核将通道数提升为16；首个所述下采样层进行两次卷积后，通过残差操作与输入层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行下采样；后三个所述下采样层进行三次卷积后，通过残差操作与上一个下采样层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行下采样；
所述解码器包括依次连接的四个上采样层和一个输出层，四个所述上采样层对末个下采样层输出的特征图逐层进行上采样输出特征图，然后通过输出层通过残差操作与末个上采样层输出的特征图进行单位加法输出分割结果；前三个所述上采样层进行三次卷积后，通过残差操作与上一个上采样层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行上采样；末个所述上采样层进行两次卷积后，通过残差操作与输出层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行上采样；所述输出层的图像输出维度为64×64×64，并使用5×5×5的卷积核将通道数减少为1。
可选的，所述通过形态学方法消除腰椎CT图像中的孤立点包括：对腰椎CT图像进行形态学开运算和闭运算，所述开运算和闭运算的模板尺寸根据需要分割的孤立点大小进行调节。
可选的，所述转换为相应的腰椎三维点云集合包括：通过Marching Cubes算法对消除孤立点后的术前和术中的腰椎CT图像进行面绘制，遍历面绘制结果顶点坐标并转换为点云坐标，获取术前和术中的腰椎三维点云集合。
可选的，所述对术前和术中的腰椎三维点云集合进行最近邻点迭代获取最优旋转矩阵和平移向量包括：
初始化迭代次数i＝1；
在术前的腰椎三维点云集合Csource中取点集pi∈Csource；
在术中的腰椎三维点云集合Ctarget中取点集qi∈Ctarget，使得||pi-qi||最小，||·||为欧氏距离；
构建误差函数：
Figure BDA0003662869050000041
通过奇异值分解法对误差函数最小进行求解获取旋转矩阵Ri和平移向量Ti；
根据旋转矩阵Rk和平移向量Tk点集pi进行旋转和平移变换获取点集p′i；
计算点集p′i与对应点集qi的平均距离d；
判断平均距离d是否小于预设阈值，若是，则停止迭代，输出旋转矩阵Ri和平移向量Ti；
若否，则判断迭代次数i是否大于预设迭代次数，若是，则停止迭代，输出旋转矩阵Ri和平移向量Ti；
若否，则令迭代次数i＝i+1，并重复上述迭代步骤。
第二方面，本发明提供了一种面向脊柱微创手术导航的深度学习点云腰椎配准装置，所述装置包括：
图像采集模块，用于采集术前和术中的脊柱CT图像；
图像分割模块，用于将脊柱CT图像输入训练好的三维V型深度分割网络模型进行分割，获取术前和术中的腰椎CT图像；
图像处理模块，用于通过形态学方法消除腰椎CT图像中的孤立点；
点云转换模块，用于通过点云转换方法将消除孤立点后的术前和术中的腰椎CT图像转换为相应的腰椎三维点云集合；
图像配准模块，用于对术前和术中的腰椎三维点云集合进行最近邻点迭代，完成术前与术中的脊柱CT图像中的腰椎配准。
第三方面，本发明提供了一种面向脊柱微创手术导航的深度学习点云腰椎配准装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。
第四方面，本发明提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明提供了一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，将脊柱CT图像输入到训练好的三维V型深度分割网络模型进行分割，无需多次进行图像采集，且能够快速的获取腰椎CT图像；对腰椎CT图像进行形态学方法优化处理，根据点云转换获取优化处理后的点云集合，然后通过最近邻点迭代实现快速3D-3D的腰椎图像配准，为解决临床上腰椎微创手术不可视问题提供了保障。
附图说明
图1是本发明实施例一提供的一种面向脊柱微创手术导航的深度学习点云腰椎配准方法的流程图；
图2是本发明实施例一提供的三维V型深度分割网络模型的结构示意图；
图3是本发明实施例一提供的术前和术中的腰椎三维点云集合示意图；
图4是本发明实施例一提供的点云腰椎配准结果示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1所示，本发明实施例提供了一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，包括以下步骤：
1、采集术前和术中的脊柱CT图像。
2、将脊柱CT图像输入训练好的三维V型深度分割网络模型进行分割，获取术前和术中的腰椎CT图像；
其中，三维V型深度分割网络模型的训练包括：
获取脊柱CT图像并添加腰椎轮廓标注生成样本图像，并根据样本图像构建训练集；
基于训练集利用Adam算法训练三维V型深度分割网络模型，调整模型参数直至损失函数最小。
其中，添加腰椎轮廓标注包括将脊柱CT图像中属于腰椎的体素标注为1，不属于腰椎的体素标注为0；
损失函数Ldice为：
Figure BDA0003662869050000061
式中，Gi为脊柱CT图像中体素i的标注信息，Pi为脊柱CT图像中体素i标注为1的概率；N为脊柱CT图像中体素数量。
3、通过形态学方法消除腰椎CT图像中的孤立点；
通过形态学方法消除腰椎CT图像中的孤立点包括：对腰椎CT图像进行形态学开运算和闭运算，开运算和闭运算的模板尺寸根据需要分割的孤立点大小进行调节。
4、通过点云转换方法将消除孤立点后的术前和术中的腰椎CT图像转换为相应的腰椎三维点云集合；
转换为相应的腰椎三维点云集合包括：通过Marching Cubes算法对消除孤立点后的术前和术中的腰椎CT图像进行面绘制，遍历面绘制结果顶点坐标并转换为点云坐标，获取术前和术中的腰椎三维点云集合。腰椎三维点云集合的示意图如图3所示，其中(a)、(b)分别为术前和术中的腰椎三维点云集合。
5、对术前和术中的腰椎三维点云集合进行最近邻点迭代获取最优旋转矩阵和平移向量；包括：
初始化迭代次数i＝1；
在术前的腰椎三维点云集合Csource中取点集pi∈Csource；
在术中的腰椎三维点云集合Ctarget中取点集qi∈Ctarget，使得||pi-qi||最小，||·||为欧氏距离；
构建误差函数：
Figure BDA0003662869050000071
通过奇异值分解法对误差函数最小进行求解获取旋转矩阵Ri和平移向量Ti；
根据旋转矩阵Rk和平移向量Tk点集pi进行旋转和平移变换获取点集p′i；
计算点集p′i与对应点集qi的平均距离d；
判断平均距离d是否小于预设阈值，若是，则停止迭代，输出旋转矩阵Ri和平移向量Ti；
若否，则判断迭代次数i是否大于预设迭代次数，若是，则停止迭代，输出旋转矩阵Ri和平移向量Ti；
若否，则令迭代次数i＝i+1，并重复上述迭代步骤。
6、通过最优旋转矩阵和平移向量对三维点云集合进行变换处理，完成术前与术中的脊柱CT图像中的腰椎配准。腰椎配准的示意图如图4所示。
如图2所示，三维V型深度分割网络模型包括对称的编码器和解码器；
编码器包括依次连接的一个输入层和四个下采样层，输入层通过残差操作与输入图像进行单位加法，然后通过四个下采样层逐层进行下采样输出特征图；输入层的图像输入维度为64×64×64，并使用5×5×5的卷积核将通道数提升为16；首个下采样层进行两次卷积后，通过残差操作与输入层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行下采样；后三个下采样层进行三次卷积后，通过残差操作与上一个下采样层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行下采样；
解码器包括依次连接的四个上采样层和一个输出层，四个上采样层对末个下采样层输出的特征图逐层进行上采样输出特征图，然后通过输出层通过残差操作与末个上采样层输出的特征图进行单位加法输出分割结果；前三个上采样层进行三次卷积后，通过残差操作与上一个上采样层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行上采样；末个上采样层进行两次卷积后，通过残差操作与输出层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行上采样；输出层的图像输出维度为64×64×64，并使用5×5×5的卷积核将通道数减少为1。
实施例二：
本发明实施例提供了一种面向脊柱微创手术导航的深度学习点云腰椎配准装置，装置包括：
图像采集模块，用于采集术前和术中的脊柱CT图像；
图像分割模块，用于将脊柱CT图像输入训练好的三维V型深度分割网络模型进行分割，获取术前和术中的腰椎CT图像；
图像处理模块，用于通过形态学方法消除腰椎CT图像中的孤立点；
点云转换模块，用于通过点云转换方法将消除孤立点后的术前和术中的腰椎CT图像转换为相应的腰椎三维点云集合；
图像配准模块，用于对术前和术中的腰椎三维点云集合进行最近邻点迭代，完成术前与术中的脊柱CT图像中的腰椎配准。
实施例三：
基于实施例一，本发明实施例提供了一种面向脊柱微创手术导航的深度学习点云腰椎配准装置，包括处理器及存储介质；
存储介质用于存储指令；
处理器用于根据指令进行操作以执行根据上述方法的步骤。
实施例四：
基于实施例一，本发明实施例提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，其特征在于，包括：
采集术前和术中的脊柱CT图像；
将脊柱CT图像输入训练好的三维V型深度分割网络模型进行分割，获取术前和术中的腰椎CT图像；
通过形态学方法消除腰椎CT图像中的孤立点；
通过点云转换方法将消除孤立点后的术前和术中的腰椎CT图像转换为相应的腰椎三维点云集合；
对术前和术中的腰椎三维点云集合进行最近邻点迭代获取最优旋转矩阵和平移向量；
通过最优旋转矩阵和平移向量对三维点云集合进行变换处理，完成术前与术中的脊柱CT图像中的腰椎配准。
2.根据权利要求1所述的一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，其特征在于，所述三维V型深度分割网络模型的训练包括：
获取脊柱CT图像并添加腰椎轮廓标注生成样本图像，并根据样本图像构建训练集；
基于训练集利用Adam算法训练三维V型深度分割网络模型，调整模型参数直至损失函数最小。
3.根据权利要求2所述的一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，其特征在于，所述添加腰椎轮廓标注包括将脊柱CT图像中属于腰椎的体素标注为1，不属于腰椎的体素标注为0；
所述损失函数Ldice为：
Figure FDA0003662869040000011
式中，Gi为脊柱CT图像中体素i的标注信息，Pi为脊柱CT图像中体素i标注为1的概率；N为脊柱CT图像中体素数量。
4.根据权利要求1所述的一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，其特征在于，所述三维V型深度分割网络模型包括对称的编码器和解码器；
所述编码器包括依次连接的一个输入层和四个下采样层，所述输入层通过残差操作与输入图像进行单位加法，然后通过四个所述下采样层逐层进行下采样输出特征图；所述输入层的图像输入维度为64×64×64，并使用5×5×5的卷积核将通道数提升为16；首个所述下采样层进行两次卷积后，通过残差操作与输入层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行下采样；后三个所述下采样层进行三次卷积后，通过残差操作与上一个下采样层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行下采样；
所述解码器包括依次连接的四个上采样层和一个输出层，四个所述上采样层对末个下采样层输出的特征图逐层进行上采样输出特征图，然后通过输出层通过残差操作与末个上采样层输出的特征图进行单位加法输出分割结果；前三个所述上采样层进行三次卷积后，通过残差操作与上一个上采样层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行上采样；末个所述上采样层进行两次卷积后，通过残差操作与输出层的输出进行单位加法，然后使用步长为2的2×2×2的卷积核进行上采样；所述输出层的图像输出维度为64×64×64，并使用5×5×5的卷积核将通道数减少为1。
5.根据权利要求1所述的一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，其特征在于，所述通过形态学方法消除腰椎CT图像中的孤立点包括：对腰椎CT图像进行形态学开运算和闭运算，所述开运算和闭运算的模板尺寸根据需要分割的孤立点大小进行调节。
6.根据权利要求1所述的一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，其特征在于，所述转换为相应的腰椎三维点云集合包括：通过Marching Cubes算法对消除孤立点后的术前和术中的腰椎CT图像进行面绘制，遍历面绘制结果顶点坐标并转换为点云坐标，获取术前和术中的腰椎三维点云集合。
7.根据权利要求1所述的一种面向脊柱微创手术导航的深度学习点云腰椎配准方法，其特征在于，所述对术前和术中的腰椎三维点云集合进行最近邻点迭代获取最优旋转矩阵和平移向量包括：
初始化迭代次数i＝1；
在术前的腰椎三维点云集合Csource中取点集pi∈Csource；
在术中的腰椎三维点云集合Ctarget中取点集qi∈Ctarget，使得||pi-qi||最小，||·||为欧氏距离；
构建误差函数：
Figure FDA0003662869040000031
通过奇异值分解法对误差函数最小进行求解获取旋转矩阵Ri和平移向量Ti；
根据旋转矩阵Rk和平移向量Tk点集pi进行旋转和平移变换获取点集p′i；
计算点集p′i与对应点集qi的平均距离d；
判断平均距离d是否小于预设阈值，若是，则停止迭代，输出旋转矩阵Ri和平移向量Ti；
若否，则判断迭代次数i是否大于预设迭代次数，若是，则停止迭代，输出旋转矩阵Ri和平移向量Ti；
若否，则令迭代次数i＝i+1，并重复上述迭代步骤。
8.一种面向脊柱微创手术导航的深度学习点云腰椎配准装置，其特征在于，所述装置包括：
图像采集模块，用于采集术前和术中的脊柱CT图像；
图像分割模块，用于将脊柱CT图像输入训练好的三维V型深度分割网络模型进行分割，获取术前和术中的腰椎CT图像；
图像处理模块，用于通过形态学方法消除腰椎CT图像中的孤立点；
点云转换模块，用于通过点云转换方法将消除孤立点后的术前和术中的腰椎CT图像转换为相应的腰椎三维点云集合；
图像配准模块，用于对术前和术中的腰椎三维点云集合进行最近邻点迭代，完成术前与术中的脊柱CT图像中的腰椎配准。
9.一种面向脊柱微创手术导航的深度学习点云腰椎配准装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-7任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN202210578192.9A 2022-05-26 2022-05-26 一种面向脊柱微创手术导航的深度学习点云腰椎配准方法 Active CN115049709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210578192.9A CN115049709B (zh) 2022-05-26 2022-05-26 一种面向脊柱微创手术导航的深度学习点云腰椎配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210578192.9A CN115049709B (zh) 2022-05-26 2022-05-26 一种面向脊柱微创手术导航的深度学习点云腰椎配准方法

Publications (2)

Publication Number Publication Date
CN115049709A true CN115049709A (zh) 2022-09-13
CN115049709B CN115049709B (zh) 2024-11-12

Family

ID=83160232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210578192.9A Active CN115049709B (zh) 2022-05-26 2022-05-26 一种面向脊柱微创手术导航的深度学习点云腰椎配准方法

Country Status (1)

Country Link
CN (1) CN115049709B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408908A (zh) * 2023-12-15 2024-01-16 南京邮电大学 一种基于深度神经网络的术前与术中ct图像自动融合方法
WO2024250631A1 (zh) * 2023-06-05 2024-12-12 北京长木谷医疗科技股份有限公司 基于强化学习的手术机器人配准方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330926A (zh) * 2017-08-25 2017-11-07 上海嘉奥信息科技发展有限公司 一种术中导航系统中的非标记医学图像配准系统及方法
CN112164074A (zh) * 2020-09-22 2021-01-01 江南大学 一种基于深度学习的3d ct床快速分割方法
CN112233132A (zh) * 2020-10-26 2021-01-15 上海明略人工智能(集团)有限公司 一种基于无监督学习的脑磁共振图像分割方法及装置
CN113506308A (zh) * 2021-07-06 2021-10-15 同济大学 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330926A (zh) * 2017-08-25 2017-11-07 上海嘉奥信息科技发展有限公司 一种术中导航系统中的非标记医学图像配准系统及方法
CN112164074A (zh) * 2020-09-22 2021-01-01 江南大学 一种基于深度学习的3d ct床快速分割方法
CN112233132A (zh) * 2020-10-26 2021-01-15 上海明略人工智能(集团)有限公司 一种基于无监督学习的脑磁共振图像分割方法及装置
CN113506308A (zh) * 2021-07-06 2021-10-15 同济大学 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈飞;谢智歌;蔡晨贾农;徐凯;: "基于超限学习机2.5D-3D配准的脊椎手术导航", 计算机仿真, no. 11, 15 November 2017 (2017-11-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024250631A1 (zh) * 2023-06-05 2024-12-12 北京长木谷医疗科技股份有限公司 基于强化学习的手术机器人配准方法、装置及电子设备
CN117408908A (zh) * 2023-12-15 2024-01-16 南京邮电大学 一种基于深度神经网络的术前与术中ct图像自动融合方法
CN117408908B (zh) * 2023-12-15 2024-03-15 南京邮电大学 一种基于深度神经网络的术前与术中ct图像自动融合方法

Also Published As

Publication number Publication date
CN115049709B (zh) 2024-11-12

Similar Documents

Publication Publication Date Title
CN107595387B (zh) 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统
Markelj et al. A review of 3D/2D registration methods for image-guided interventions
AU2020101836A4 (en) A method for generating femoral x-ray films based on deep learning and digital reconstruction of radiological image
CN110310281A (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN112614169B (zh) 基于深度学习网络的2d/3d脊椎ct层级配准方法
CN115049709B (zh) 一种面向脊柱微创手术导航的深度学习点云腰椎配准方法
EP3800617B1 (en) A computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an artificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
US20240185509A1 (en) 3d reconstruction of anatomical images
CN113506308A (zh) 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
CN116433697B (zh) 基于眼动仪的腹部多器官ct图像分割方法
US20240221190A1 (en) Methods and systems for registration
CN114792326A (zh) 一种基于结构光的手术导航点云分割与配准方法
CN116797519A (zh) 脑胶质瘤分割和三维可视化模型训练方法及系统
Alam et al. Intrinsic registration techniques for medical images: A state-of-the-art review
CN117611695A (zh) 基于扩散模型的牙科锥束ct金属伪影校正方法及装置
Gao et al. 3DSRNet: 3-D spine reconstruction network using 2-D orthogonal x-ray images based on deep learning
CN115252233B (zh) 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法
CN116492052A (zh) 一种基于混合现实脊柱三维可视化手术导航系统
Zollei 2D-3D rigid-body registration of X-ray Fluoroscopy and CT images
CN118037793B (zh) 一种术中x线和ct图像的配准方法和装置
Patel et al. Improved automatic bone segmentation using large-scale simulated ultrasound data to segment real ultrasound bone surface data
Dong et al. Automatic extraction of proximal femur contours from calibrated X‐ray images using 3D statistical models: an in vitro study
CN117011246A (zh) 基于Transformer的分节段椎骨CT图像分割方法与系统
Chen et al. An optimization-based baseline for rigid 2d/3d registration applied to spine surgical navigation using cma-es
Zhang et al. Development and model form assessment of an automatic subject-specific vertebra reconstruction method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant