CN114010314A - 一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统 - Google Patents

一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统 Download PDF

Info

Publication number
CN114010314A
CN114010314A CN202111256572.2A CN202111256572A CN114010314A CN 114010314 A CN114010314 A CN 114010314A CN 202111256572 A CN202111256572 A CN 202111256572A CN 114010314 A CN114010314 A CN 114010314A
Authority
CN
China
Prior art keywords
preoperative
intraoperative
duodenum
endoscope
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111256572.2A
Other languages
English (en)
Other versions
CN114010314B (zh
Inventor
潘俊君
蔺智鹏
孙尚宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202111256572.2A priority Critical patent/CN114010314B/zh
Publication of CN114010314A publication Critical patent/CN114010314A/zh
Application granted granted Critical
Publication of CN114010314B publication Critical patent/CN114010314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统，其方法包括：S1：于术前通过医学扫描设备对患者躯干进行三维扫描，从获取的三维图像中分割出十二指肠的术前表面几何模型，并基于术前表面几何模型，构建十二指肠的术前生物力学模型；S2：于术中初始阶段使用内窥镜在十二指肠的区域来回适速游走一次，构建十二指肠的术中三维轮廓；S3：进行十二指肠的术中三维轮廓与术前生物力学模型的非刚性配准；S4：基于NDI电磁定位设备提供的内窥镜位姿实时投影，以实现增强现实导航。本发明提供的导航方法，可以在术中为执刀医师提供明确的胰胆管走向，降低辅助用的X光和造影剂对人体造成的有害影响。

Description

一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及 系统
技术领域
本发明涉及增强/混合现实与医工领域，具体涉及一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统。
背景技术
本世纪以来，随着计算机技术的快速发展，计算机辅助手术(Computer-aidedSurgery,CAS)作为一门新兴学科应运而生，近年来已成为一个将医学、计算机科学、放射学、生物力学、机械学、材料学、机器人技术等诸多学科集为一体的新型交叉研究领域。其中术中导航技术，是CAS的重要组成部分，对于外科医生在术中操作的精准度，术中安全性，术后快速恢复性有着极为重要的意义，推动着现代医学技术向个体化、精准化、微创化和远程化的方向发展。在经内镜逆行性胰胆管造影(Endoscopic Retrograde Cholangio-pancreatography,ERCP)手术中，执刀医师无法通过内窥镜看到肠壁外侧的胰胆管走向，需要利用造影剂以及X光机不断地进行透视，以此来确认和调整钢丝的位置，然而有毒的造影剂以及长时间暴露在X光环境下对患者和医生均有损害。因此，ERCP手术中胰胆管走向不明确，辅助用的X光和造影剂对人体有害成为一个亟待解决的问题。
发明内容
为了解决上述技术问题，本发明提供一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统。
本发明技术解决方案为：一种针对经内镜逆行性胰胆管造影术的增强现实导航方法，包括：
步骤S1：于术前通过医学扫描设备对患者躯干进行三维扫描，从获取到的患者躯干的三维图像中分割出十二指肠的术前表面几何模型，并基于所述术前表面几何模型，构建所述十二指肠的术前生物力学模型；其中，所述十二指肠包括：十二指肠肠道和胰胆管；
步骤S2：于术中初始阶段使用内窥镜在所述十二指肠的区域来回适速游走一次，记录所述内窥镜的运动轨迹，利用获取的内窥镜图像序列重建所述十二指肠的术中三维轮廓，并利用所述运动轨迹调整所述十二指肠的术中三维轮廓的尺度和空间方位；
步骤S3：恢复所述术中三维轮廓的表面结构并去除显著异常点；刚性配准所述术中三维轮廓和所述表面几何模型，将二者的空间位置和大小进行统一；根据空间距离在所述术中三维轮廓和所述术前表面几何模型之间建立对应点关系，并使用法向条件进行限制，以对应点关系对所述术前生物力学模型施加外部弹性约束，并求解系统整体平衡状态，得到预设形变状态的非刚性配准后的术前生物力学模型；
步骤S4：将所述术中三维轮廓、所述非刚性配准后的术前生物力学模型和所述内窥镜统一到世界坐标系中，对所述内窥镜的镜头进行相机标定，以此调整虚拟相机视角，实时获取内窥镜镜头的空间坐标与位姿并赋予所述虚拟相机，以实现增强现实导航。
本发明与现有技术相比，具有以下优点：
1、本发明公开了一种针对经内镜逆行性胰胆管造影术的增强现实导航方法，在ERCP术中用于导航，在术中为医生提供额外视觉辅助信息，在一定程度上减少了术中X光和造影剂的使用。
2、本发明公开的方法采用ORB-SLAM技术重建术中三维轮廓，此为十二指肠内窥镜仅具有单镜头条件下的一种合理解决方案。
3、本发明公开的方法采用非刚性配准技术，基于软组织的局部表面和整体形变具有符合生物力学的关系这一原理，利用术中多视角重建的三维轮廓，驱动术前生物力学模型形变，从而推断不可见区域的形变。
附图说明
图1为本发明实施例中一种针对经内镜逆行性胰胆管造影术的增强现实导航方法的流程图；
图2为本发明实施例中重建的术中三维轮廓示意图；
图3为本发明实施例中ORB-SLAM预测路径和NDI实际路径的配准结果示意图；
图4为本发明实施例中术中三维轮廓和术前几何模型刚性配准结果示意图；
图5为本发明实施例中非刚性配准后术前几何模型的形变程度的示意图；
图6为本发明实施例中实时增强现实投影示意图；
图7为本发明实施例中所用硬件设备的示意图；
图8为本发明实施例中一种针对经内镜逆行性胰胆管造影术的增强现实导航系统的结构框图。
具体实施方式
本发明提供了一种针对经内镜逆行性胰胆管造影术的增强现实导航方法，可以在术中为执刀医师提供明确的胰胆管走向，降低辅助用的X光和造影剂对人体造成的有害影响。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
在本发明实施例中需要的硬件设备包括：NDI电磁定位设备，用于获取内窥镜镜头在三维空间中的6自由度位姿信息；显示器：用于实时展示内窥镜捕获的视频数据及基于增强现实计算所得的导航信息；增强现实导航计算装置，用于对NDI电磁定位设备和内窥镜获取的数据进行处理，计算视频导航数据发送至显示器。
实施例一
如图1所示，本发明实施例提供的一种针对经内镜逆行性胰胆管造影术的增强现实导航方法，包括下述步骤：
步骤S1：于术前通过医学扫描设备对患者躯干进行三维扫描，从获取到的患者躯干的三维图像中分割出十二指肠的术前表面几何模型，并基于术前表面几何模型，构建十二指肠的术前生物力学模型；其中，十二指肠包括：十二指肠肠道和胰胆管；
步骤S2：于术中初始阶段使用内窥镜在十二指肠的区域来回适速游走一次，记录内窥镜的运动轨迹，利用获取的内窥镜图像序列重建十二指肠的术中三维轮廓，并利用运动轨迹调整十二指肠的术中三维轮廓的尺度和空间方位；
步骤S3：恢复术中三维轮廓的表面结构并去除显著异常点；刚性配准术中三维轮廓和表面几何模型，将二者的空间位置和大小进行统一；根据空间距离在术中三维轮廓和术前表面几何模型之间建立对应点关系，并使用法向条件进行限制，以对应点关系对术前生物力学模型施加外部弹性约束，并求解系统整体平衡状态，得到预设形变状态的非刚性配准后的术前生物力学模型；
步骤S4：将术中三维轮廓、非刚性配准后的术前生物力学模型和内窥镜统一到世界坐标系中，对内窥镜的镜头进行相机标定，以此调整虚拟相机视角，实时获取内窥镜镜头的空间坐标与位姿并赋予虚拟相机，以实现增强现实导航。
在一个实施例中，上述步骤S1：于术前通过医学扫描设备对患者躯干进行三维扫描，从获取到的患者躯干的三维图像中分割出十二指肠的术前表面几何模型，并基于术前表面几何模型，构建十二指肠的术前生物力学模型；其中，十二指肠包括：十二指肠肠道和胰胆管，具体包括：
步骤S11：于术前通过医学扫描设备对患者躯干进行三维扫描，获取患者躯干的三维图像的分割结果，使用Marching Cubes算法根据分割结果重建以三角面片组成的术前表面几何模型；
在本步骤中，在术前通过医学扫描设备(CT、MRI等设备)对患者躯干进行三维扫描，从获取到的患者躯干的三维图像中通过手动或半自动的方式分割出包括胰胆管在内的十二指肠部分，使用Marching Cubes算法根据分割结果重建以三角面片组成的术前表面几何模型；
步骤S12：用TetGen四面体化术前表面几何模型，并对属于内壁区域和胰胆管区域的四面体进行标记；
使用第三方库TetGen四面体化步骤S11得到的术前表面几何模型，并对属于内壁区域和胰胆管区域的四面体进行标记；
步骤S13：基于术前表面几何模型，利用Co-rotational FEM本构模型构建术前生物力学模型，为内壁和胰胆管区域的四面体分别设置不同的力学参数，如公式(1)～(2)所示：
E内壁＝3.5kPa v内壁＝0.45 (1)
E胰胆管＝620kPa v胰胆管＝0.4 (2)
其中，E表示样式模量，v表示泊松比；
对于术前生物力学模型的系统方程使用雅各比预条件共轭梯度解算器求解。
在一个实施例中，上述步骤S2：于术中初始阶段使用内窥镜在十二指肠的区域来回适速游走一次，记录内窥镜的运动轨迹，利用获取的内窥镜图像序列重建十二指肠的术中三维轮廓，并利用运动轨迹调整十二指肠的术中三维轮廓的尺度和空间方位，具体包括：
步骤S21：于手术初始阶段使用内窥镜在十二指肠的区域以合适的速度来回游走一次，获取十二指肠的肠道内各个位置的图像序列，基于ORB-SLAM重建十二指肠的术中三维轮廓，并以点云的形式输出；
本发明实施例采用ORB-SLAM作为术中三维轮廓构建的方法，使用ORB描述量的特征匹配和重定位的单目SLAM，具有更好的鲁棒性。且特征匹配效率更高，所以更适合要求实时性较高的场景。ORB-SLAM对于关键帧的选取可以通过检测视差实现自动选取。每个关键帧的人体内腔图像在经过特征点提取后都会得到以特征点构成的点云，通过相机位姿将不同视角下的点云融合起来，构成信息更完整的点云。
如图2所示为重建的术中三维轮廓示意图，左侧是十二指肠假体，框中为待重建区域，右侧为重建的点云输出结果。
步骤S22：利用ORB-SLAM预测拍摄时的内窥镜的镜头空间位置与姿态，最终输出内窥镜镜头的预测路径；
ORB-SLAM算法为获得更好的重建结果，会对输入的图片动态取舍，对于被选中的图片，将会预测拍摄时的镜头空间位置与姿态，最终输出预测的内窥镜镜头路径。
步骤S23：基于ICP刚性配准预测路径和通过NDI电磁定位设备记录的实际内窥镜镜头运动路径，调整十二指肠的术中三维轮廓的尺度和空间方位。
基于ICP(Iterative Closest Point)刚性配准预测路径和通过NDI电磁定位设备记录的实际内窥镜镜头运动路径，从而调整重建的术中三维轮廓的尺度和空间方位。如图3所示，展示了ORB-SLAM预测路径(虚线所示)和NDI实际路径(实线所示)的配准结果。
在一个实施例中，上述步骤S3：恢复术中三维轮廓的表面结构并去除显著异常点；刚性配准术中三维轮廓和表面几何模型，将二者的空间位置和大小进行统一；根据空间距离在术中三维轮廓和术前表面几何模型之间建立对应点关系，并使用法向条件进行限制，以对应点关系对术前生物力学模型施加外部弹性约束，并求解系统整体平衡状态，得到预设形变状态的非刚性配准后的术前生物力学模型，具体包括：
步骤S31：使用Moving Least Squares对术中三维轮廓进行表面结构的恢复和异常点的初步清除；再利用半径滤波和统计滤波对术中三维轮廓进一步地清除异常点；通过对术中三维轮廓进行空间均匀降采样，调整其空间点密度使之与术前表面几何模型的内壁顶点密度接近；
步骤S32：分别计算术中三维轮廓和术前表面几何模型的特征向量和形心位置，进行二者尺度和空间位置的统一，并利用SAC-IA和NICP刚性配准术中三维轮廓和术前表面几何模型，得到刚性配准后的术中三维轮廓和术前表面几何模型；
本步骤中SAC-IA(Sample Consensus Initial Alignment)和NICP(NormalIterative Closest Point)分别用于粗配准和精配准。
图4展示了术中三维轮廓和术前几何模型刚性配准结果示意图，深色点云为术中三维轮廓，浅色点云为术前几何模型的顶点集合。
步骤S33：利用最近点关系在刚性配准后的术中三维轮廓和术前表面几何模型的顶点集合之间构建对应点关系，并使用法向和距离条件进行筛选；根据对应点关系，对术前生物力学模型施加外部弹性约束，使用步骤S13中的雅各比预条件共轭梯度解算器求解该弹性系统的稳定状态，并迭代此过程，直到得到预设形变状态的非刚性配准后的术前生物力学模型。
根据建立的对应点关系，给术前生物力学模型施加外部弹性约束，即在对应点间连接初始长度为0的虚拟弹簧，术前生物力学模型和虚拟弹簧整体构成一个不稳定的弹性系统，使用雅各比预条件共轭梯度解算器求解该弹性系统的稳定状态，并迭代此过程以使得术前生物力学模型形变至预期状态。
图5展示了非刚性配准后术前几何模型的形变程度的示意图，不同的颜色代表不同的形变程度。
在一个实施例中，上述步骤S4：将术中三维轮廓、非刚性配准后的术前生物力学模型和内窥镜统一到世界坐标系中，对内窥镜的镜头进行相机标定，以此调整虚拟相机视角，实时获取内窥镜镜头的空间坐标与位姿并赋予虚拟相机，以实现增强现实导航，具体包括：
步骤S41：根据步骤S32中的进行尺度和空间位置统一所得的变换矩阵和刚性配准所得的变换矩阵，将步骤S33中形变后的术前生物力学模型调整至术中三维轮廓的空间状态；
步骤S42：使用张正友标定法对内窥镜镜头进行相机标记，获取其受光区域的主点纵坐标cy和纵焦距fy，将虚拟相机的视角设置为2×arctan(cy/fy)×180/π；NDI电磁定位设备用于定位内窥镜镜头的空间位置和姿态，需将NDI电磁定位探头固定于内窥镜镜头上，内窥镜在以NDI电磁定位基站为原点的世界坐标系中的位姿由六个参数表示：x,y,z,ψ,θ,
Figure BDA0003324050590000061
分别表示内窥镜镜头的x,y,z坐标，方位角，俯仰角，翻滚角，内窥镜镜头本身的变换矩阵形式如公式(3)所示：
Figure BDA0003324050590000062
并且，虚拟相机的变换矩阵和内窥镜镜头保持一致。
图6展示了实时增强现实投影示意图，其中四个窗口中，右上为肠镜视频，右下为混合现实导航，左上为第三视角虚拟导航，左下为第一视角虚拟导航。
本发明实施例使用的设备为RTX2060 GPU、Intel(R)i78750H CPU(2.21GHz，6核)、16GB RAM的计算设备。电磁定位设备trakSTAR是Ascension公司3D Guidance系列小型磁场传感超快跟踪器的最新机型，设计为医疗应用，可在遮挡的情况下进行精确实时的空间三维测量。产品共配有四个微型传感器，刷新频率最高可达420次每秒，可同时对四个探针进行定位，可同步或异步返回探针六自由度的空间位置。发射器的尺寸为96x 96x 96mm，也可采用较大的宽体发射器。发射器的信号利用USB与计算机相连接，并利用其官方API解码数据。本系统采用专业医学十二指肠内窥镜，其为视角100度的侧视十二指肠镜，其可视深度为4-60mm，弯曲角度向上120度，下90度，左右各90度，镜前端直径13mm。视频信号为s-video后经转换输入系统中。
本系统依赖相关硬件驱动库，OPENCV，VTK等图形图像库，运行在Windows 1064位系统上。
图7展示了本发明实施例中硬件设备的示意图。
本发明公开了一种针对经内镜逆行性胰胆管造影术的增强现实导航方法，在ERCP术中用于导航，在术中为医生提供额外视觉辅助信息，在一定程度上减少了术中X光和造影剂的使用。本发明公开的方法采用ORB-SLAM技术重建术中三维轮廓，此为十二指肠内窥镜仅具有单镜头条件下的一种合理解决方案。本发明公开的方法采用非刚性配准技术，基于软组织的局部表面和整体形变具有符合生物力学的关系这一原理，利用术中多视角重建的三维轮廓，驱动术前生物力学模型形变，从而推断不可见区域的形变。
实施例二
如图8所示，本发明实施例提供了一种针对经内镜逆行性胰胆管造影术的增强现实导航系统，包括下述模块：
重建术前生物力学模型模块51，用于术前通过医学扫描设备对患者躯干进行三维扫描，从获取到的患者躯干的三维图像中分割出十二指肠的术前表面几何模型，并基于术前表面几何模型，构建十二指肠的术前生物力学模型；其中，十二指肠包括：十二指肠肠道和胰胆管；
重建术中三维轮廓模块52，用于术中初始阶段使用内窥镜在十二指肠的区域来回适速游走一次，记录内窥镜的运动轨迹，利用获取的内窥镜图像序列重建十二指肠的术中三维轮廓，并利用运动轨迹调整十二指肠的术中三维轮廓的尺度和空间方位；
非刚性配准模块53，用于恢复术中三维轮廓的表面结构并去除显著异常点；刚性配准术中三维轮廓和表面几何模型，将二者的空间位置和大小进行统一；根据空间距离在术中三维轮廓和术前表面几何模型之间建立对应点关系，并使用法向条件进行限制，以对应点关系对术前生物力学模型施加外部弹性约束，并求解系统整体平衡状态，得到预设形变状态的非刚性配准后的术前生物力学模型；
实时增强现实投影模块54，用于将术中三维轮廓、非刚性配准后的术前生物力学模型和内窥镜统一到世界坐标系中，对内窥镜的镜头进行相机标定，以此调整虚拟相机视角，实时获取内窥镜镜头的空间坐标与位姿并赋予虚拟相机，以实现增强现实导航。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (6)

1.一种针对经内镜逆行性胰胆管造影术的增强现实导航方法，其特征在于，包括：
步骤S1：于术前通过医学扫描设备对患者躯干进行三维扫描，从获取到的患者躯干的三维图像中分割出十二指肠的术前表面几何模型，并基于所述术前表面几何模型，构建所述十二指肠的术前生物力学模型；其中，所述十二指肠包括：十二指肠肠道和胰胆管；
步骤S2：于术中初始阶段使用内窥镜在所述十二指肠的区域来回适速游走一次，记录所述内窥镜的运动轨迹，利用获取的内窥镜图像序列重建所述十二指肠的术中三维轮廓，并利用所述运动轨迹调整所述十二指肠的术中三维轮廓的尺度和空间方位；
步骤S3：恢复所述术中三维轮廓的表面结构并去除显著异常点；刚性配准所述术中三维轮廓和所述表面几何模型，将二者的空间位置和大小进行统一；根据空间距离在所述术中三维轮廓和所述术前表面几何模型之间建立对应点关系，并使用法向条件进行限制，以对应点关系对所述术前生物力学模型施加外部弹性约束，并求解系统整体平衡状态，得到预设形变状态的非刚性配准后的术前生物力学模型；
步骤S4：将所述术中三维轮廓、所述非刚性配准后的术前生物力学模型和所述内窥镜统一到世界坐标系中，对所述内窥镜的镜头进行相机标定，以此调整虚拟相机视角，实时获取内窥镜镜头的空间坐标与位姿并赋予所述虚拟相机，以实现增强现实导航。
2.根据权利要求1所述的针对经内镜逆行性胰胆管造影术的增强现实导航方法，其特征在于，所述步骤S1：于术前通过医学扫描设备对患者躯干进行三维扫描，从获取到的患者躯干的三维图像中分割出十二指肠的术前表面几何模型，并基于所述术前表面几何模型，构建所述十二指肠的术前生物力学模型；其中，所述十二指肠包括：十二指肠肠道和胰胆管，具体包括：
步骤S11：于术前通过医学扫描设备对患者躯干进行三维扫描，获取患者躯干的三维图像的分割结果，使用Marching Cubes算法根据所述分割结果重建以三角面片组成的术前表面几何模型；
步骤S12：用TetGen四面体化所述术前表面几何模型，并对属于内壁区域和胰胆管区域的四面体进行标记；
步骤S13：基于所述术前表面几何模型，利用Co-rotational FEM本构模型构建术前生物力学模型，为内壁和胰胆管区域的四面体分别设置不同的力学参数，如公式(1)～(2)所示：
E内壁＝3.5kPa v内壁＝0.45 (1)
E胰胆管＝620kPa v胰胆管＝0.4 (2)
其中，E表示样式模量，v表示泊松比；
对于所述术前生物力学模型的系统方程使用雅各比预条件共轭梯度解算器求解。
3.根据权利要求1所述的针对经内镜逆行性胰胆管造影术的增强现实导航方法，其特征在于，所述步骤S2：于术中初始阶段使用内窥镜在所述十二指肠的区域来回适速游走一次，记录所述内窥镜的运动轨迹，利用获取的内窥镜图像序列重建所述十二指肠的术中三维轮廓，并利用所述运动轨迹调整所述十二指肠的术中三维轮廓的尺度和空间方位，具体包括：
步骤S21：于手术初始阶段使用内窥镜在所述十二指肠的区域以合适的速度来回游走一次，获取所述十二指肠的肠道内各个位置的图像序列，基于ORB-SLAM重建所述十二指肠的术中三维轮廓，并以点云的形式输出；
步骤S22：利用ORB-SLAM预测拍摄时的所述内窥镜的镜头空间位置与姿态，最终输出内窥镜镜头的预测路径；
步骤S23：基于ICP刚性配准所述预测路径和通过NDI电磁定位设备记录的实际内窥镜镜头运动路径，调整所述十二指肠的术中三维轮廓的尺度和空间方位。
4.根据权利要求1所述的针对经内镜逆行性胰胆管造影术的增强现实导航方法，其特征在于，所述步骤S3：恢复所述术中三维轮廓的表面结构并去除显著异常点；刚性配准所述术中三维轮廓和所述表面几何模型，将二者的空间位置和大小进行统一；根据空间距离在所述术中三维轮廓和所述术前表面几何模型之间建立对应点关系，并使用法向条件进行限制，以对应点关系对所述术前生物力学模型施加外部弹性约束，并求解系统整体平衡状态，得到预设形变状态的非刚性配准后的术前生物力学模型，具体包括：
步骤S31：使用Moving Least Squares对所述术中三维轮廓进行表面结构的恢复和异常点的初步清除；再利用半径滤波和统计滤波对所述术中三维轮廓进一步地清除异常点；通过对所述术中三维轮廓进行空间均匀降采样，调整其空间点密度使之与所述术前表面几何模型的内壁顶点密度接近；
步骤S32：分别计算所述术中三维轮廓和所述术前表面几何模型的特征向量和形心位置，进行二者尺度和空间位置的统一，并利用SAC-IA和NICP刚性配准所述术中三维轮廓和所述术前表面几何模型，得到刚性配准后的术中三维轮廓和术前表面几何模型；
步骤S33：利用最近点关系在所述刚性配准后的术中三维轮廓和术前表面几何模型的顶点集合之间构建对应点关系，并使用法向和距离条件进行筛选；根据所述对应点关系，对所述术前生物力学模型施加外部弹性约束，使用步骤S13中所述的雅各比预条件共轭梯度解算器求解该弹性系统的稳定状态，并迭代此过程，直到得到预设形变状态的非刚性配准后的术前生物力学模型。
5.根据权利要求1所述的针对经内镜逆行性胰胆管造影术的增强现实导航方法，其特征在于，所述步骤S4：将所述术中三维轮廓、所述非刚性配准后的术前生物力学模型和所述内窥镜统一到世界坐标系中，对所述内窥镜的镜头进行相机标定，以此调整虚拟相机视角，实时获取内窥镜镜头的空间坐标与位姿并赋予所述虚拟相机，以实现增强现实导航，具体包括：
步骤S41：根据步骤S32中的进行尺度和空间位置统一所得的变换矩阵和刚性配准所得的变换矩阵，将步骤S33中所述形变后的术前生物力学模型调整至所述术中三维轮廓的空间状态；
步骤S42：使用张正友标定法对所述内窥镜镜头进行相机标记，获取其受光区域的主点纵坐标cy和纵焦距fy，将虚拟相机的视角设置为2×arctan(cy/fy)×180/π；所述NDI电磁定位设备用于定位所述内窥镜镜头的空间位置和姿态，需将所述NDI电磁定位探头固定于内窥镜镜头上，所述内窥镜在以所述NDI电磁定位基站为原点的世界坐标系中的位姿由六个参数表示：x，y，z，ψ，θ，
Figure FDA0003324050580000031
分别表示内窥镜镜头的x，y，z坐标，方位角，俯仰角，翻滚角，内窥镜镜头本身的变换矩阵形式如公式(3)所示：
Figure FDA0003324050580000032
并且，所述虚拟相机的变换矩阵和所述内窥镜镜头保持一致。
6.一种针对经内镜逆行性胰胆管造影术的增强现实导航系统，其特征在于，包括下述模块：
重建术前生物力学模型模块，用于术前通过医学扫描设备对患者躯干进行三维扫描，从获取到的患者躯干的三维图像中分割出十二指肠的术前表面几何模型，并基于所述术前表面几何模型，构建所述十二指肠的术前生物力学模型；其中，所述十二指肠包括：十二指肠肠道和胰胆管；
重建术中三维轮廓模块，用于术中初始阶段使用内窥镜在所述十二指肠的区域来回适速游走一次，记录所述内窥镜的运动轨迹，利用获取的内窥镜图像序列重建所述十二指肠的术中三维轮廓，并利用所述运动轨迹调整所述十二指肠的术中三维轮廓的尺度和空间方位；
非刚性配准模块，用于恢复所述术中三维轮廓的表面结构并去除显著异常点；刚性配准所述术中三维轮廓和所述表面几何模型，将二者的空间位置和大小进行统一；根据空间距离在所述术中三维轮廓和所述术前表面几何模型之间建立对应点关系，并使用法向条件进行限制，以对应点关系对所述术前生物力学模型施加外部弹性约束，并求解系统整体平衡状态，得到预设形变状态的非刚性配准后的术前生物力学模型；
实时增强现实投影模块，用于将所述术中三维轮廓、非刚性配准后的所述术前生物力学模型和所述内窥镜统一到世界坐标系中，对所述内窥镜的镜头进行相机标定，以此调整虚拟相机视角，实时获取内窥镜镜头的空间坐标与位姿并赋予所述虚拟相机，以实现增强现实导航。
CN202111256572.2A 2021-10-27 2021-10-27 一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统 Active CN114010314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111256572.2A CN114010314B (zh) 2021-10-27 2021-10-27 一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111256572.2A CN114010314B (zh) 2021-10-27 2021-10-27 一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统

Publications (2)

Publication Number Publication Date
CN114010314A true CN114010314A (zh) 2022-02-08
CN114010314B CN114010314B (zh) 2023-07-07

Family

ID=80058021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111256572.2A Active CN114010314B (zh) 2021-10-27 2021-10-27 一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统

Country Status (1)

Country Link
CN (1) CN114010314B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114176775A (zh) * 2022-02-16 2022-03-15 武汉大学 Ercp选择性胆管插管的校验方法、装置、设备及介质
CN115462903A (zh) * 2022-11-14 2022-12-13 卡本(深圳)医疗器械有限公司 一种基于磁导航的人体内外部传感器协同定位系统
CN116563379A (zh) * 2023-07-06 2023-08-08 湖南卓世创思科技有限公司 一种基于模型融合的标志物定位方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018032083A1 (en) * 2016-08-17 2018-02-22 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system
US20180168780A1 (en) * 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners
CN110974419A (zh) * 2019-12-24 2020-04-10 武汉大学 对肝门部狭窄在经内镜胆管支架置入术中导丝导航方法及系统
CN111494009A (zh) * 2020-04-27 2020-08-07 上海霖晏医疗科技有限公司 用于手术导航的图像配准方法、装置和手术导航系统
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院（山东省肿瘤医院） 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018032083A1 (en) * 2016-08-17 2018-02-22 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system
US20180168780A1 (en) * 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners
CN110974419A (zh) * 2019-12-24 2020-04-10 武汉大学 对肝门部狭窄在经内镜胆管支架置入术中导丝导航方法及系统
CN111494009A (zh) * 2020-04-27 2020-08-07 上海霖晏医疗科技有限公司 用于手术导航的图像配准方法、装置和手术导航系统
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院（山东省肿瘤医院） 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114176775A (zh) * 2022-02-16 2022-03-15 武汉大学 Ercp选择性胆管插管的校验方法、装置、设备及介质
CN114176775B (zh) * 2022-02-16 2022-05-10 武汉大学 Ercp选择性胆管插管的校验方法、装置、设备及介质
CN115462903A (zh) * 2022-11-14 2022-12-13 卡本(深圳)医疗器械有限公司 一种基于磁导航的人体内外部传感器协同定位系统
CN116563379A (zh) * 2023-07-06 2023-08-08 湖南卓世创思科技有限公司 一种基于模型融合的标志物定位方法、装置及系统
CN116563379B (zh) * 2023-07-06 2023-09-29 湖南卓世创思科技有限公司 一种基于模型融合的标志物定位方法、装置及系统

Also Published As

Publication number Publication date
CN114010314B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN114010314B (zh) 一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统
JP4631057B2 (ja) 内視鏡システム
EP2637593B1 (en) Visualization of anatomical data by augmented reality
US20180158201A1 (en) Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images
US20210137605A1 (en) Using augmented reality in surgical navigation
US20120082351A1 (en) Fast 3d-2d image registration method with application to continuously guided endoscopy
Wu et al. Three-dimensional modeling from endoscopic video using geometric constraints via feature positioning
Liu et al. Global and local panoramic views for gastroscopy: an assisted method of gastroscopic lesion surveillance
Ma et al. Moving-tolerant augmented reality surgical navigation system using autostereoscopic three-dimensional image overlay
US11026583B2 (en) Intravascular catheter including markers
US20190231438A1 (en) Intravascular catheter for modeling blood vessels
Merritt et al. Real-time CT-video registration for continuous endoscopic guidance
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
CN110051434A (zh) Ar与内窥镜结合手术导航方法及终端
Lapeer et al. Image‐enhanced surgical navigation for endoscopic sinus surgery: evaluating calibration, registration and tracking
JP6493877B2 (ja) 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
Dimas et al. Endoscopic single-image size measurements
EP3328305B1 (en) Microscope tracking based on video analysis
CN115462903B (zh) 一种基于磁导航的人体内外部传感器协同定位系统
CN116485850A (zh) 基于深度学习的手术导航影像的实时非刚性配准方法及系统
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
JP6392192B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
Deguchi et al. A method for bronchoscope tracking using position sensor without fiducial markers
Shoji et al. Camera motion tracking of real endoscope by using virtual endoscopy system and texture information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant