CN115018890A - 一种三维模型配准方法及系统 - Google Patents

一种三维模型配准方法及系统 Download PDF

Info

Publication number
CN115018890A
CN115018890A CN202210600528.7A CN202210600528A CN115018890A CN 115018890 A CN115018890 A CN 115018890A CN 202210600528 A CN202210600528 A CN 202210600528A CN 115018890 A CN115018890 A CN 115018890A
Authority
CN
China
Prior art keywords
dimensional model
model
dimensional
reconstruction
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210600528.7A
Other languages
English (en)
Inventor
杨欣荣
樊嘉
周俭
成剑文
孙云帆
许阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Hospital Fudan University
Original Assignee
Zhongshan Hospital Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Hospital Fudan University filed Critical Zhongshan Hospital Fudan University
Priority to CN202210600528.7A priority Critical patent/CN115018890A/zh
Publication of CN115018890A publication Critical patent/CN115018890A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种三维模型配准方法及系统,属于术中导航技术领域。方法包括：获取CT影像数据，对所述CT影像数据进行处理，构建手术前的器官的三维模型，得到术前三维模型；获取手术中的所述器官的模型数据，采用预设的模型重建方法，重建手术中的所述器官的三维模型，得到术中三维模型；对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准。本方法能够提高配准精度，为医生提供术中手术指导信息，能够有效的提升脏器类手术精度与安全性。

Description

一种三维模型配准方法及系统
技术领域
本发明属于术中导航技术领域，尤其涉及一种三维模型配准方法及系统。
背景技术
基于传感器获取的环境感知数据，图片信息为构建周围环境图，同时提供环境图中的位置信息，并随着移动而进行环境图的增量式构建与机连续定位。SLAM中一般采用距离传感器作为环境感知的数据源。相比超声、声呐等测距仪器，视觉传感器具有体积小、功耗低、信息获取丰富等特点，可提供丰富的外部环境纹理信息，因而基于视觉的SLAM成为当前研究的热点。
现有技术中，重建脏器由于无法计算内窥镜的里程计与位置的相对移动距离，对单目内窥镜而言很难对内窥镜下的脏器完整重建。由于不能完整重建出脏器，使其无法计算出更多的三维特征信息，无法达到高精度配准效果。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种三维模型配准方法及系统，通过手术前构建器官的三维模型，手术中对该器官重建三维模型，对术前的三维模型进行校正，将术中重建的三维模型与术前三维模型进行配准，提高了配准精度，为医生提供术中手术指导信息，能够有效的提升脏器类手术精度与安全性。
根据本发明的一个方面，本发明提供了一种三维模型配准方法，所述方法包括以下步骤：
S1：获取CT影像数据，对所述CT影像数据进行处理，构建手术前的器官的三维模型，得到术前三维模型；
S2：获取手术中的所述器官的模型数据，采用预设的模型重建方法，重建手术中的所述器官的三维模型，得到术中三维模型；
S3：对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准。
优选地，所述采用预设的模型重建方法包括进行位姿估计及关键帧选择，具体为：
选择初始关键帧，通过分解由两帧之间关键点匹配得到的基础矩阵，得到初始两帧之间的位姿关系，并计算匹配特征点的三维坐标；从新增的图像序列中选择与上一关键帧具有一定数量匹配点并具有一定差异的图像作为新的关键帧，估算出新的关键帧的位姿；将初始阶段的关键帧，根据图像相似性进行聚类，分成多组图像集。
优选地，所述采用预设的模型重建方法包括进行稀疏三维重建和稠密重建，具体为：
利用关键位姿估计进行局部范围的位姿优化，用于优化的三维点集形成稳定精确的稀疏点云；
根据初始阶段获得的多组相似图像集以及它们的位姿，利用双目稠密匹配方法在每组图像集内形成密集重建。
优选地，所述采用预设的模型重建方法包括进行点云融合，具体为：
将多组图像集分别生成稠密的局部点云，将关键帧的稠密点云与已生成的稀疏点云进行匹配，进行尺度和位姿的细微调整，形成局部完整的三维表面模型。
优选地，所述对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准，包括：
通过吲哚青绿(ICG)荧光成像，调整术前三维模型；
定义不同视角下点云的误差函数E(R，t)为：
Figure BDA0003669724030000031
分别在待匹配的目标点云P和源点云Q中，按照预定的约束条件，找到最邻近点对(pi,qi)，利用最小二乘法迭代计算出最优匹配参数R和t，使得误差函数最小；其中，n为最邻近点对的个数，pi为目标点云P中的一点，qi为源点云Q中与pi对应的最近点，R为旋转矩阵，t为平移向量。
根据本发明的另一个方面，本发明还提供了一种三维模型配准系统，所述系统包括：
构建模块，用于获取CT影像数据，对所述CT影像数据进行处理，构建手术前的器官的三维模型，得到术前三维模型；
重建模块，用于获取手术中的所述器官的模型数据，采用预设的模型重建方法，重建手术中的所述器官的三维模型，得到术中三维模型；
配准模块，用于对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准。
优选地，所述重建模块采用预设的模型重建方法包括进行位姿估计及关键帧选择，具体为：
选择初始关键帧，通过分解由两帧之间关键点匹配得到的基础矩阵，得到初始两帧之间的位姿关系，并计算匹配特征点的三维坐标；从新增的图像序列中选择与上一关键帧具有一定数量匹配点并具有一定差异的图像作为新的关键帧，估算出新的关键帧的位姿；将初始阶段的关键帧，根据图像相似性进行聚类，分成多组图像集。
优选地，所述重建模块采用预设的模型重建方法包括进行稀疏三维重建和稠密重建，具体为：
利用关键位姿估计进行局部范围的位姿优化，用于优化的三维点集形成稳定精确的稀疏点云；
根据初始阶段获得的多组相似图像集以及它们的位姿，利用双目稠密匹配方法在每组图像集内形成密集重建。
优选地，所述重建模块采用预设的模型重建方法包括进行点云融合，具体为：
将多组图像集分别生成稠密的局部点云，将关键帧的稠密点云与已生成的稀疏点云进行匹配，进行尺度和位姿的细微调整，形成局部完整的三维表面模型。
优选地，所述配准模块对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准，包括：
通过吲哚青绿(ICG)荧光成像，调整术前三维模型；
定义不同视角下点云的误差函数E(R，t)为：
Figure BDA0003669724030000041
分别在待匹配的目标点云P和源点云Q中，按照预定的约束条件，找到最邻近点对(pi,qi)，利用最小二乘法迭代计算出最优匹配参数R和t，使得误差函数最小；其中，n为最邻近点对的个数，pi为目标点云P中的一点，qi为源点云Q中与pi对应的最近点，R为旋转矩阵，t为平移向量。
有益效果：本发明针对术中无法通过视觉识别脏器内管道组织以及病灶，通过实现术前/术中透视的影像数据与术中解剖结构对应，在手术前构建器官的三维模型，手术中对该器官重建三维模型，对术前的三维模型进行校正，将术中重建的三维模型与术前三维模型进行配准，提高了配准精度，为医生提供术中手术指导信息，能够有效的提升脏器类手术精度与安全性。
通过参照以下附图及对本发明的具体实施方式的详细描述，本发明的特征及优点将会变得清楚。
附图说明
图1是三维模型配准方法流程图；
图2是三维模型配准系统示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
图1是三维模型配准方法流程图。如图1所示，本发明提供了一种三维模型配准方法，所述方法包括以下步骤：
S1：获取CT影像数据，对所述CT影像数据进行处理，构建手术前的器官的三维模型，得到术前三维模型。
具体地，利用第三方三维模型重建软件，根据CT影像数据，使用传统分割算法进行器官分割，生成掩膜数据bmp,利用bmp数据，使用MC(Marching Cubes)算法生成基于三角面片的三维网格数据即术前肝脏的三维模型数据。
S2：获取手术中的所述器官的模型数据，采用预设的模型重建方法，重建手术中的所述器官的三维模型，得到术中三维模型。
具体地，手术中的所述器官的模型数据可以通过双目内窥镜获取，预设的模型重建方法是可以实现模型重建的任何方法。
S3：对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准。
具体地，在术前模型进行校正后，再将校正后的术前三维模型与术中重建的三维模型进行配准，可以提高配准效果。
本实施例中，在手术前构建器官的三维模型，手术中对该器官重建三维模型，对术前的三维模型进行校正，将术中重建的三维模型与术前三维模型进行配准，提高了配准精度，为医生提供术中手术指导信息，能够有效的提升脏器类手术精度与安全性。
优选地，所述采用预设的模型重建方法包括进行位姿估计及关键帧选择，具体为：
选择初始关键帧，通过分解由两帧之间关键点匹配得到的基础矩阵，得到初始两帧之间的位姿关系，并计算匹配特征点的三维坐标；从新增的图像序列中选择与上一关键帧具有一定数量匹配点并具有一定差异的图像作为新的关键帧，估算出新的关键帧的位姿；将初始阶段的关键帧，根据图像相似性进行聚类，分成多组图像集。
具体地，从采集的图像序列中选择具有足够ORB特征的帧作为初始关键帧。双目内窥镜利用初始的两个关键帧，通过分解由两帧之间关键点匹配得到的基础矩阵，得到初始两帧之间的位姿关系，并计算匹配特征点的三维坐标。双目内窥镜直接利用初始双目关键帧，得到匹配特征点的三维坐标。然后，从新增的图像序列中选择与上一关键帧具有一定数量匹配点并具有一定差异的图像作为新的关键帧。该过程中的匹配点为上一帧中已计算出三维值的特征点，借助这些已知三维坐标的匹配点，采用PnP(Perspective–n-Point)算法估算出新的关键帧的位姿。将初始阶段的关键帧，根据图像相似性进行聚类，分成多组图像集，用于后续的密集重建。
优选地，所述采用预设的模型重建方法包括进行稀疏三维重建和稠密重建，具体为：
利用关键位姿估计进行局部范围的位姿优化，用于优化的三维点集形成稳定精确的稀疏点云；
根据初始阶段获得的多组相似图像集以及它们的位姿，利用双目稠密匹配方法在每组图像集内形成密集重建。
具体地，在利用关键位姿估计的同时，采用位姿优化与稀疏三维重建。连续的位姿估计，往往存在路径漂移。采用回环检测和最小重投影误差技术(Bundle Adjustment)进行局部范围的位姿(路径)优化。在此过程中，用于优化的三维点集形成一个相对稳定精确的稀疏点云。
通过前面的步骤，在初始阶段获得多组相似图像集以及它们的位姿。然后，利用双目稠密匹配方法在每组图像集内形成密集重建。本步骤将未匹配的ORB特征点，在两两图像间采用局部图像块相似性方法或者深度学习方法进行匹配与重建。同时，在图像组内采用逆投影验证估算的三维点集在多图像中的相似性以筛选出可靠的三维点集，从而得到精确的稠密重建。
优选地，所述采用预设的模型重建方法包括进行点云融合，具体为：
将多组图像集分别生成稠密的局部点云，将关键帧的稠密点云与已生成的稀疏点云进行匹配，进行尺度和位姿的细微调整，形成局部完整的三维表面模型。
具体地，多组图像集分别生成稠密的局部点云，本步骤将其进行融合生成局部完整的三维表面模型。直接的基于关键帧位姿的融合，存在细微的融合偏差。本步骤将关键帧的稠密点云与已生成的稀疏点云进行匹配，进行尺度和位姿的细微调整，将其更好的贴近稀疏重建的结果。如此，多组稠密点云形成局部完整的三维表面模型。
优选地，所述对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准，包括：
通过吲哚青绿(ICG)荧光成像，调整术前三维模型；
定义不同视角下点云的误差函数E(R，t)为：
Figure BDA0003669724030000081
分别在待匹配的目标点云P和源点云Q中，按照预定的约束条件，找到最邻近点对(pi,qi)，利用最小二乘法迭代计算出最优匹配参数R和t，使得误差函数最小；其中，n为最邻近点对的个数，pi为目标点云P中的一点，qi为源点云Q中与pi对应的最近点，R为旋转矩阵，t为平移向量。
具体地，ICP(Iterative C1osest Point)利用搜索方法寻找两组点云数据集对应的最近点对并将其作为对应点，建立对应点之间的误差函数，并通过非线性方法来最小化误差函数，不断迭代从而得到最佳变换矩阵。该算法是目前使用最广泛的精确配准算法，自从提出以来，人们对其进行了不断地改进和优化，用于提高算法的收敛速度及配准精度。
ICP算法中存在着大量迭代运算，如果仍采用传统的串行配准方式势必会影响整个算法的配准效率，进而影响配准的实时性。本专利采用GPU并行计算技术和CUDA，进行配准算法加速，提高算法收敛速度，实现了图像的实时配准。
配准步骤：分别在待匹配的目标点云P和源点云Q中，按照一定的约束条件，找到最邻近点对(pi,qi)，利用最小二乘法迭代计算出最优匹配参数R和t，使得误差函数最小，具体包括：
(1)在目标点云P中取点集pi∈P；
(2)找出源点云Q中的对应点集qi∈Q，使得||qi-pi||＝min；
(3)计算旋转矩阵R和平移矩阵t，使得误差函数最小；
(4)对pi使用上一步求得的旋转矩阵R和平移矩阵t进行旋转和平移变换，的到新的对应点集pi’＝{pi’＝Rpi+t,pi∈P}；
(5)计算pi’与对应点集qi的平均距离d；
(6)如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算。否则返回第2步，直到满足收敛条件为止。
通过吲哚青绿(ICG)荧光成像，调整术前三维模型。
根据ICG的物理特性，术中静脉注射后，通过荧光成像技术观察到肿瘤位置或肝脏表面(呈现颜色)，通过图像处理技术提取出肿瘤位置或肝脏表面图像坐标信息。对术前三维模型匹配术中重建三维模型，仍会存在较大的配准偏差，因此通过吲哚青绿(ICG)荧光成像位置(例如肝脏表面、肝脏肿瘤位置等)信息再一次对，术前三维模型与术中重建的三维模型进行再次调整，达到最终配准效果。
本实施例中，术中使用双目相机基于稀疏视觉SLAM—ORB-SLAM的基础上实现稠密三维重建。稠密三维重建选择ORB-SLAM中用于位姿优化的关键帧作为稠密重建的基础。双目相机已经预标定并矫正镜头(lens)畸变，然后将矫正后的图像及其对应的相机内参用于内窥镜移动三维重建。术中重建的三维模型(不完整)与术前三维模型(完整)进行配准，为达到更好的配准效果，为提高配准精度，术中使用吲哚青绿(ICG)，使其在肝脏表面或病灶部位形成有色造影，可利用造影部位信息调整术前三维模型肝脏模型与术中重建的三维模型，达到最佳配准效果。
实施例2
图2是三维模型配准系统示意图。如图2所示，本发明还提供了一种三维模型配准系统，所述系统包括：
构建模块201，用于获取CT影像数据，对所述CT影像数据进行处理，构建手术前的器官的三维模型，得到术前三维模型；
重建模块202，用于获取手术中的所述器官的模型数据，采用预设的模型重建方法，重建手术中的所述器官的三维模型，得到术中三维模型；
配准模块203，用于对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准。
优选地，所述重建模块202采用预设的模型重建方法包括进行位姿估计及关键帧选择，具体为：
选择初始关键帧，通过分解由两帧之间关键点匹配得到的基础矩阵，得到初始两帧之间的位姿关系，并计算匹配特征点的三维坐标；从新增的图像序列中选择与上一关键帧具有一定数量匹配点并具有一定差异的图像作为新的关键帧，估算出新的关键帧的位姿；将初始阶段的关键帧，根据图像相似性进行聚类，分成多组图像集。
优选地，所述重建模块202采用预设的模型重建方法包括进行稀疏三维重建和稠密重建，具体为：
利用关键位姿估计进行局部范围的位姿优化，用于优化的三维点集形成稳定精确的稀疏点云；
根据初始阶段获得的多组相似图像集以及它们的位姿，利用双目稠密匹配方法在每组图像集内形成密集重建。
优选地，所述重建模块202采用预设的模型重建方法包括进行点云融合，具体为：
将多组图像集分别生成稠密的局部点云，将关键帧的稠密点云与已生成的稀疏点云进行匹配，进行尺度和位姿的细微调整，形成局部完整的三维表面模型。
优选地，所述配准模块203对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准，包括：
通过吲哚青绿(ICG)荧光成像，调整术前三维模型；
定义不同视角下点云的误差函数E(R，t)为：
Figure BDA0003669724030000121
分别在待匹配的目标点云P和源点云Q中，按照预定的约束条件，找到最邻近点对(pi,qi)，利用最小二乘法迭代计算出最优匹配参数R和t，使得误差函数最小；其中，n为最邻近点对的个数，pi为目标点云P中的一点，qi为源点云Q中与pi对应的最近点，R为旋转矩阵，t为平移向量。
本实施例2中各个模块所实现的功能的具体实施过程与实施例1中的实施过程相同，在此不再赘述。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种三维模型配准方法，其特征在于，所述方法包括以下步骤：
S1：获取CT影像数据，对所述CT影像数据进行处理，构建手术前的器官的三维模型，得到术前三维模型；
S2：获取手术中的所述器官的模型数据，采用预设的模型重建方法，重建手术中的所述器官的三维模型，得到术中三维模型；
S3：对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准。
2.根据权利要求1所述的方法，其特征在于，所述采用预设的模型重建方法包括进行位姿估计及关键帧选择，具体为：
选择初始关键帧，通过分解由两帧之间关键点匹配得到的基础矩阵，得到初始两帧之间的位姿关系，并计算匹配特征点的三维坐标；从新增的图像序列中选择与上一关键帧具有一定数量匹配点并具有一定差异的图像作为新的关键帧，估算出新的关键帧的位姿；将初始阶段的关键帧，根据图像相似性进行聚类，分成多组图像集。
3.根据权利要求2所述的方法，其特征在于，所述采用预设的模型重建方法包括进行稀疏三维重建和稠密重建，具体为：
利用关键位姿估计进行局部范围的位姿优化，用于优化的三维点集形成稳定精确的稀疏点云；
根据初始阶段获得的多组相似图像集以及它们的位姿，利用双目稠密匹配方法在每组图像集内形成密集重建。
4.根据权利要求3所述的方法，其特征在于，所述采用预设的模型重建方法包括进行点云融合，具体为：
将多组图像集分别生成稠密的局部点云，将关键帧的稠密点云与已生成的稀疏点云进行匹配，进行尺度和位姿的细微调整，形成局部完整的三维表面模型。
5.根据权利要求4所述的方法，其特征在于，所述对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准，包括：
通过吲哚青绿(ICG)荧光成像，调整术前三维模型；
定义不同视角下点云的误差函数E(R，t)为：
Figure FDA0003669724020000021
分别在待匹配的目标点云P和源点云Q中，按照预定的约束条件，找到最邻近点对(pi,qi)，利用最小二乘法迭代计算出最优匹配参数R和t，使得误差函数最小；其中，n为最邻近点对的个数，pi为目标点云P中的一点，qi为源点云Q中与pi对应的最近点，R为旋转矩阵，t为平移向量。
6.一种三维模型配准系统，其特征在于，所述系统包括：
构建模块，用于获取CT影像数据，对所述CT影像数据进行处理，构建手术前的器官的三维模型，得到术前三维模型；
重建模块，用于获取手术中的所述器官的模型数据，采用预设的模型重建方法，重建手术中的所述器官的三维模型，得到术中三维模型；
配准模块，用于对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准。
7.根据权利要求6所述的系统，其特征在于，所述重建模块采用预设的模型重建方法包括进行位姿估计及关键帧选择，具体为：
选择初始关键帧，通过分解由两帧之间关键点匹配得到的基础矩阵，得到初始两帧之间的位姿关系，并计算匹配特征点的三维坐标；从新增的图像序列中选择与上一关键帧具有一定数量匹配点并具有一定差异的图像作为新的关键帧，估算出新的关键帧的位姿；将初始阶段的关键帧，根据图像相似性进行聚类，分成多组图像集。
8.根据权利要求7所述的系统，其特征在于，所述重建模块采用预设的模型重建方法包括进行稀疏三维重建和稠密重建，具体为：
利用关键位姿估计进行局部范围的位姿优化，用于优化的三维点集形成稳定精确的稀疏点云；
根据初始阶段获得的多组相似图像集以及它们的位姿，利用双目稠密匹配方法在每组图像集内形成密集重建。
9.根据权利要求8所述的系统，其特征在于，所述重建模块采用预设的模型重建方法包括进行点云融合，具体为：
将多组图像集分别生成稠密的局部点云，将关键帧的稠密点云与已生成的稀疏点云进行匹配，进行尺度和位姿的细微调整，形成局部完整的三维表面模型。
10.根据权利要求9所述的系统，其特征在于，所述配准模块对所述术前三维模型进行校正，将校正后的术前三维模型与所述术中三维模型进行配准，包括：
通过吲哚青绿(ICG)荧光成像，调整术前三维模型；
定义不同视角下点云的误差函数E(R，t)为：
Figure FDA0003669724020000041
分别在待匹配的目标点云P和源点云Q中，按照预定的约束条件，找到最邻近点对(pi,qi)，利用最小二乘法迭代计算出最优匹配参数R和t，使得误差函数最小；其中，n为最邻近点对的个数，pi为目标点云P中的一点，qi为源点云Q中与pi对应的最近点，R为旋转矩阵，t为平移向量。
CN202210600528.7A 2022-05-30 2022-05-30 一种三维模型配准方法及系统 Pending CN115018890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210600528.7A CN115018890A (zh) 2022-05-30 2022-05-30 一种三维模型配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210600528.7A CN115018890A (zh) 2022-05-30 2022-05-30 一种三维模型配准方法及系统

Publications (1)

Publication Number Publication Date
CN115018890A true CN115018890A (zh) 2022-09-06

Family

ID=83070233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210600528.7A Pending CN115018890A (zh) 2022-05-30 2022-05-30 一种三维模型配准方法及系统

Country Status (1)

Country Link
CN (1) CN115018890A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115919461A (zh) * 2022-12-12 2023-04-07 之江实验室 一种基于slam的手术导航方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115919461A (zh) * 2022-12-12 2023-04-07 之江实验室 一种基于slam的手术导航方法
CN115919461B (zh) * 2022-12-12 2023-08-08 之江实验室 一种基于slam的手术导航方法

Similar Documents

Publication Publication Date Title
Allan et al. Stereo correspondence and reconstruction of endoscopic data challenge
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
Shen et al. Robust camera localisation with depth reconstruction for bronchoscopic navigation
WO2006127713A2 (en) A fast 2d-3d image registration method with application to continuously guided endoscopy
CN107680688B (zh) 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法
Wu et al. Three-dimensional modeling from endoscopic video using geometric constraints via feature positioning
US20130321583A1 (en) Imaging system and method for use of same to determine metric scale of imaged bodily anatomy
CN112562082A (zh) 一种三维人脸重建方法及系统
WO2010081094A2 (en) A system for registration and information overlay on deformable surfaces from video data
CN108090954A (zh) 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
CN111260765B (zh) 一种显微手术术野的动态三维重建方法
CN112329699A (zh) 一种像素级精度的人眼注视点定位方法
CN116452752A (zh) 联合单目稠密slam与残差网络的肠壁重建方法
CN114399527A (zh) 单目内窥镜无监督深度和运动估计的方法及装置
Wei et al. Stereo dense scene reconstruction and accurate localization for learning-based navigation of laparoscope in minimally invasive surgery
CN115018890A (zh) 一种三维模型配准方法及系统
Groch et al. 3D surface reconstruction for laparoscopic computer-assisted interventions: comparison of state-of-the-art methods
CN103345741A (zh) 一种非刚性多模医学图像精确配准方法
Schwab et al. Multimodal medical image registration using particle swarm optimization with influence of the data's initial orientation
Garcia et al. A robust and efficient block matching framework for non linear registration of thoracic CT images
Wei et al. A novel SLAM method for laparoscopic scene reconstruction with feature patch tracking
Clarkson et al. Registration of video images to tomographic images by optimising mutual information using texture mapping
Lacher et al. Low-cost surface reconstruction for aesthetic results assessment and prediction in breast cancer surgery
Su et al. A comparison of surgical cavity 3d reconstruction methods
CN113256693A (zh) 基于K-means与正态分布变换的多视角配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination