CN116421313A - 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法 - Google Patents

胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法 Download PDF

Info

Publication number
CN116421313A
CN116421313A CN202310406699.0A CN202310406699A CN116421313A CN 116421313 A CN116421313 A CN 116421313A CN 202310406699 A CN202310406699 A CN 202310406699A CN 116421313 A CN116421313 A CN 116421313A
Authority
CN
China
Prior art keywords
lung
model
thoracoscopic
transformation matrix
intraoperative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310406699.0A
Other languages
English (en)
Inventor
李明原
赵杰
马倩倩
何贤英
董亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Zhengzhou University
Original Assignee
First Affiliated Hospital of Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Zhengzhou University filed Critical First Affiliated Hospital of Zhengzhou University
Priority to CN202310406699.0A priority Critical patent/CN116421313A/zh
Publication of CN116421313A publication Critical patent/CN116421313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A61B2034/207—Divots for calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法，对手术中胸腔镜影像进行提取，得到肺部区域，对肺部区域进行三维重建，得到术中实时肺部模型，根据将术中实时肺部模型变换到胸腔镜空间坐标系下得到的变换矩阵，以及将术前肺部模型与术中实时肺部模型进行配准得到的变换矩阵，基于变换矩阵将术前肺部模型投影到胸腔镜影像的坐标系下，基于术前肺部模型构建复合生物力学模型，人为标注肺部切割区域，实现术中运动补偿，完成模型的动态配准，将手术前重建的肺部三维虚拟模型与手术过程中胸腔镜拍摄的现实肺部器官进行匹配，通过增强现实方式将配准模型叠加在胸腔镜视频上，为外科医生提供微创手术导航。

Description

胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法
技术领域
本发明涉及一种胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法。
背景技术
肺癌是世界上最常见的恶性肿瘤，也是排名第一位的肿瘤死因。解剖性肺切除术是早期肺癌的主要治疗手段，也是目前临床治愈肺癌的重要方法。
外科手术作为肺癌综合治疗中最主要的一环，近年来发展迅速，尤其是胸腔镜技术的应用和普及起到了重要的作用。胸腔镜手术与传统的开胸手术相比，有着创伤少、疼痛轻、术后康复快等优势，但术后并发症的发生，无疑会延长患者住院时间并抵消胸腔镜的优势。如何有效地降低肺癌患者胸腔镜术后并发症的发生率，更好更快地促进患者的康复，成为当下医护人员关注的焦点之一。随着医学技术的进步，外科手术从开放式手术向微创手术发展，实现了大创伤到小创伤甚至无创伤的技术革新。微创外科手术逐步出现了单操作孔电视辅助胸腔镜手术(video-assisted thoracic surgery，VATS)、机器人辅助胸腔镜切除术(robotic-assisted thoracoscopic resection，RATS)，即医生通过微小创伤入路，将内窥镜等显像设备和手术器械导入人体内，进而完成对患者病灶诊断治疗的手术。然而，由于视野的局限性，医生在胸腔镜手术中的环境感知能力十分有限。胸腔镜的本质是光学相机成像，无法观察到器官表层以下的内部信息，狭窄的可视范围需要医生在术中查看术前图像，如计算机断层扫描图像(CT)或磁共振成像(MRI)等，想象病灶及周围关键组织在视野中的当前位置才能做出合理的判断，手术效果过度依赖于医生的经验和技巧，容易造成术中出血(转开放性手术)、病灶边界定位不准、健康组织切除过多、并发症风险高等多种问题。
胸腔镜微创手术虽然具有创伤小、疼痛轻、恢复快的优越性，但由于视野有限的问题，增加了微创手术的难度。增强现实(AR)导航技术的应用能有效解决上述微创术中视野有限的问题。在手术前，通过三维CT支气管血管成像技术重建肺部结节、支气管、血管和段间交界可视化肺部结构，通过术前模拟手术、设计手术方案、规划手术路径。在微创手术中，AR手术导航技术通过可视化组织表面下的重要解剖结构(如肺结节、支气管、血管等)，将重建的虚拟器官模型与胸腔镜内现实环境相融合，实时配准到医生视野内。这样可以指导医生精准切除靶段，降低手术难度，增加手术安全性。因此增强现实手术导航技术打通了从海量数据中提取精准定量诊疗关键信息的层层壁垒，以智能、开放、共享的技术，为智慧医疗时代对信息的应用和产业化提供必备工具，提高医疗服务的精准化水平。因此，如何将术前术中多模态信息进行融合配准，以实现微创手术的精准定位，成为了手术导航技术研究与应用亟需解决的关键问题。
增强现实手术导航技术利用三维CT支气管血管成像技术，在微创手术中可视化三维肺部结构信息。三维成像技术能精准重建出患者某个时刻的肺部结节、支气管、血管等三维静态结构信息，微创手术过程中胸腔镜成像的是连续的二维图像信息，但由于重建出的三维模型表面没有纹理信息，并且肺部呼吸等运动会实时产生形变，所以两者无法直接进行配准。因此，术前CT重建的静态三维模型与术中胸腔镜动态二维图像实时精准融合问题，成为增强现实手术导航技术研究的关键挑战。增强现实手术导航技术吸引了国际学术界的广泛关注，每年在TMI、MIA、TBE、ABE等医工交叉学科的国际著名期刊上都有大量论文发表。
对于手术导航中术前肺部模型与术中实时肺部模型静态配准问题。随着CT支气管血管成像技术的发展，医生可以精准得从影像信息定位患者肺部的病灶区域。但医生在外科手术过程中，需要准确避开支气管、血管和健康组织，切割肺部癌变组织，仍需要根据医生的经验来操作。增强现实手术导航可在手术过程中将术前肺部模型叠加在胸腔镜上，引导外科医生直击病灶区域。由于术前肺部模型与术中影像属于不同坐标系下，需要进行模型配准，将其放在同一坐标系下，才能够通过增强现实指导手术。按照配准实现过程中所基于的特征形式，可以分为基于点配准和基于面配准。
基于点配准是通过术前重建模型中和术中器官中的标记点的位置信息间的配准来完成三维模型与视频影像场景间的配准。标记点通常是植入的人工标记点或组织解剖结构特征的自然标记点。交互式配准系统需要人工根据标记点信息手动将三维模型与视频影像进行配准。自动化配准系统借助光学跟踪器或电磁跟踪器跟踪内窥镜的运动来定位术中视频影像场景的标记点坐标，从而与术前三维模型建立映射关系，完成静态配准。基于点配准的手术导航原理简单，易于实现，且灵活性高。但是人工配准标记点实时性低，精度不高，且受医生专业水平的限制。而精度较高的自动化配准系统需要在患者体内植入人工标记点，对患者有一定的伤害。目前基于点配准的大多应用在腹腔镜手术导航中，其原因是点配准属于刚性配准，对于手术中器官产生形变(非刚性形变)会导致系统完全无法配准。
基于面配准需要在术中实时重建器官三维信息，与术前肺部模型进行配准。由于CT重建的肺部模型没有表面纹理信息，无法直接与术中胸腔镜影像进行配准，需将胸腔镜影像通过Structure-From-Motion(SFM)、Simultaneous Localization And Mapping(SLAM)、Shape-from-Shading(SfS)、立体视觉等实时三维重建技术得到三维点云数据。基于面配准过程既可以是刚性配准，也可以是非刚性配准。目前非刚性配准主要方法有B样条、弹性质点系统、Coherent Point Drift(CPD)、Iterative Closest Point(ICP)等。目前常用的三维点云间的匹配方法是CPD和ICP，改进的ICP方法能捕捉术中软组织器官的实时形变。基于面配准可以支持器官小幅度的非刚性形变(如肺部呼吸形变)，但对于手术操作过程中器官产生的大幅度形变无法通过三维面来配准。
上述基于点、面的配准方法随着采集设备的提升，配准的精度也随之提升，对于理想手术环境下能够做到精准匹配。在临床应用过程中，需要手术导航系统更可靠、更灵活。基于点云匹配的配准方法无法直接应用在复杂手术环境中的大幅度非刚性形变的动态配准问题上。所以在手术导航中该方法常被用作初配准，在开始对器官操作前，初配准定位出器官模型的位置和朝向，给出胸腔镜在世界坐标系的精准位置，而器官产生的形变还需要通过有限元模型(FEM)、生物力学模型、人工交互来完成。初配准的精度决定了整个手术导航过程是否成功，所以，对术前CT重建三维器官模型与术中胸腔镜重建模型精准配准是手术导航中亟待研究的重要课题之一。
对于手术导航中器官大幅度非刚性形变的动态配准问题。模型静态初配准仅能在手术初期定位术前肺部模型在术中的胸腔镜下的粗糙位置，而在手术过程中，器官会因拉伸切割等手术操作产生大幅度的非刚性形变，该形变无法通过点云的配准进行补偿。因此，如何通过术前与术中实时肺部模型的动态配准对手术中器官大幅度非刚性形变进行补偿成为手术导航中模型配准研究的关键挑战。Cash等人提出了有限元生物力学模型的非刚性配准算法，将术前信息重建为弹性有限元模型来补偿术中软组织的形变。Haouchine等人通过调整解剖结构的生物力学模型，使其同术中重建组织点云匹配完成配准。为了使生物力学模型更准确，Haouchine等人用Lucas-Kanade光流法对术中重建点云进行实时跟踪，同时将跟踪过程计算的外部拉力优化到解剖结构的生物力学模型中。Marques等人也通过生物力学模型完成术前三维模型与术中腹腔镜重建模型进行配准。以上的配准方法虽然对非刚性形变进行了补偿，但配准精度很大程度上依赖术中腔镜实时重建的效果。Benincasa等人指出至少重建43％的表面才能确保配准的精度，Plantefeve等人通过实验数据验证，当重建的显示面超过30％时，配准误差才能在2mm以内。所以，仅靠腔镜实时重建模型与术前重建生物力学模型难以完成精准配准，需要综合腔镜影像边缘信息、术前与术中人工交互重建信息。综上所述，手术导航中基于多模态信息融合的器官大幅度非刚性形变的动态配准问题的研究，是极具科研价值和应用前景的关键科学问题。
发明内容
有鉴于此，为了解决上述技术问题，本发明提供一种胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法。
本发明采用以下技术方案：
一种胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法，包括如下步骤：
获取胸腔镜影像；
对所述胸腔镜影像进行提取，得到肺部区域，并对肺部区域进行三维重建，得到术中实时肺部模型；
将所述术中实时肺部模型变换到胸腔镜空间坐标系下，得到第一变换矩阵，并将预先得到的术前肺部模型与所述术中实时肺部模型进行配准，得到第二变换矩阵，根据所述第一变换矩阵和第二变换矩阵，将术前肺部模型投影到胸腔镜影像的坐标系下；
基于术前肺部模型构建包含肺部相关混合组织的复合生物力学模型，人为标注肺部切割区域，基于复合生物力学模型和人为标注的肺部切割区域进行术中运动补偿。
在一个实施例中，所述对肺部区域进行三维重建，得到术中实时肺部模型，包括：
在手术前，胸腔镜双目摄像头拍摄标定板获取左眼图像和右眼图像，对胸腔镜双目摄像头进行标定，得到摄像头相机内参和外参；
同时对左眼图像和右眼图像通过相机参数进行畸变校正和立体校正，将左眼图像和右眼图像转换到同一水平坐标系下；
在手术过程中，对于任意一帧肺部区域，获取左眼图像和右眼图像的视差图；
通过视差图和相机坐标计算得到每个像素点的深度值，进而得到每个像素点在三维坐标系下的三维坐标，重建出每一帧肺部区域的肺部器官表面的点云信息；
将各帧肺部区域的肺部器官表面的点云信息进行缝合，得到完整的术中实时肺部模型。
在一个实施例中，在获取左眼图像和右眼图像的视差图时的视差全局能量函数如下：
Figure BDA0004181678790000061
其中，D表示视差图，p、q分别代表左右两个图像的像素点，Np表示像素点p的相邻像素点，C(p,Dp)表示当前像素点视差为Dp时，像素点p的绝对差分和，P1和P2是惩罚系数常量,P1小于P2，I[]为二值函数，如果函数中的参数为真则返回1，否则返回0。
在一个实施例中，所述将各帧肺部区域的肺部器官表面的点云信息进行缝合，得到完整的术中实时肺部模型，包括：
对于任意相邻两帧肺部区域，采用尺度不变特征转换算法进行该相邻两帧肺部区域的图像特征匹配，采用随机抽样一致算法去除掉匹配错误的点，采用改进SLAM算法，根据该相邻两帧肺部区域的匹配点和每帧肺部区域的深度图计算出由前一帧肺部区域到后一帧肺部区域的变换矩阵；由此得到各帧肺部区域对应的变换矩阵，最后将各帧肺部区域的肺部器官表面的点云信息进行缝合，得到完整的术中实时肺部模型。
在一个实施例中，所述将预先得到的术前肺部模型与所述术中实时肺部模型进行配准，得到第二变换矩阵，包括：
通过迭代最近点算法对术前肺部模型与术中实时肺部模型进行刚性配准，其中，迭代最近点算法是通过旋转、平移使得两个点集之间的距离最小，计算出用于表征刚性变换的变换矩阵，两个点集间的距离用如下目标函数表示：
Figure BDA0004181678790000071
其中，M表示术前肺部模型对应的点云信息，K表示术中实时肺部模型对应的点云信息，R表示配准变换的旋转矩阵，T表示变换的平移矩阵；
通过最小化目标函数，得到模型M到模型K的变换矩阵(R，T)，从而得到刚性变换矩阵；
采用一致性点漂移算法进行术前肺部模型和术中实时肺部模型的非刚性配准，其中，模型K匹配模型M对应的最小化能量函数为：
Figure BDA0004181678790000072
其中，E(v，σ2；w)为负对数自然函数，w是取值为[0，1]的权重参数，σ2是各向同性协方差，v代表位移函数，λ是权衡参数；
从模型K匹配模型M的变换矩阵表示为T(K，v)＝K+v(K)，位移函数v用变分法求出，其形式如下：
v(K)＝G*W
Figure BDA0004181678790000073
其中，G是一个高斯核矩阵，β表示点间相互作用的强度；W为非刚性变换矩阵；
根据刚性变换矩阵和非刚性变换矩阵，得到所述第二变换矩阵。
在一个实施例中，所述基于术前肺部模型构建包含肺部相关混合组织的复合生物力学模型，包括：
采用基于协同转动公式的有限元方法，根据术前肺部模型构建包含肺部相关混合组织的复合生物力学模型。
在一个实施例中，所述人为标注肺部切割区域，包括：人为在胸腔镜影像中标注肺部切割区域的边缘；
相应地，所述基于复合生物力学模型和人为标注的肺部切割区域进行术中运动补偿，包括：
将人为标注肺部切割区域得到的切割边缘线变换到术前肺部模型坐标系下，得到术前肺部模型受约束的点，结合复合生物力学模型实现术中运动补偿。
本发明的有益效果包括：对胸腔镜影像进行提取，得到肺部区域，并对肺部区域进行三维重建，得到术中实时肺部模型，实时重建出术中精准肺部模型，根据将术中实时肺部模型变换到胸腔镜空间坐标系下得到的变换矩阵，以及将术前肺部模型与术中实时肺部模型进行配准得到的变换矩阵，将术前肺部模型投影到胸腔镜影像的坐标系下，最后基于术前肺部模型构建包含肺部相关混合组织的复合生物力学模型，人为标注肺部切割区域，基于复合生物力学模型和人为标注的肺部切割区域进行术中运动补偿，完成模型的动态配准，将手术前重建的肺部三维虚拟模型与手术过程中胸腔镜拍摄的现实肺部器官进行匹配，通过增强现实方式将配准模型叠加在胸腔镜视频上，为外科医生提供微创手术导航。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍：
图1是本申请实施例提供的一种胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法的流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
为了说明本申请所述的技术方案，下面通过具体实施方式来进行说明。
如图1所示，本实施例提供一种胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法，包括如下步骤：
步骤S1：获取胸腔镜影像：
由于后续采用双目立体视觉方法对肺部区域进行三维重建，因此，本实施例采用双目摄像头胸腔镜影像。
步骤S2：对所述胸腔镜影像进行提取，得到肺部区域，并对肺部区域进行三维重建，得到术中实时肺部模型：
本实施例基于胸腔镜影像进行三维重建，为了精准重建肺部表面模型，所以需要通过医学影像处理获取胸腔镜影像中的肺部精准区域。胸腔镜图像中包含肺部器官、手术操作仪器和其他器官，本实施例采用Mask Scoring R-CNN的深度学习算法，将胸腔镜影像中肺部表面区域分割出来。Mask R-CNN是一种简洁、灵活的实例分割框架，它是基于FasterR-CNN体系结构上添加了一个分支，用于预测每个关注区域(ROI)上的分割蒙版。此外，MaskR-CNN使用了ROIAlign代替Faster R-CNN中的ROIPool来实现像素间的对齐，从而提高了分割精度。而Mask Scoring R-CNN相对于Mask R-CNN增加了打分机制，模型在实例分割任务里，打分机制和边界目标检测是共享的，都是针对目标区域分类置信度算出的，从而提高了分割的精准度。本实施例依靠临床医生手动标记临床肺癌切除手术中胸腔镜影像的肺部区域来收集训练集，通过手动标记训练集训练Mask Scoring R-CNN模型。在手术中通过已训练的深度学习模型实时分割出胸腔镜影像的肺部区域，进而实时重建出精准肺部模型。作为其他的实施方式，还可以采用其他方式，比如其他网络模型对胸腔镜影像进行提取，得到肺部区域。
通过深度学习算法将胸腔镜影像图像中的肺部区域分割出来之后，通过三维重建技术重建出肺部器官的表面点云信息。本实施例采用双目立体视觉方法对肺部区域进行重建，该方法相对于飞行时间法(Time of Flight)和结构光法(Structured Light)不易受到环境因素影响，外科医生手术操作过程中，胸腔内光线会时刻变化，都会影响测距设备发出的红外线、超声波或者结构光。并且双目立体重建技术设备要求简单，仅需将胸腔镜为双目摄像头，也减轻了因设备复杂给患者带来的痛苦。
双目立体重建核心技术是将双目摄像头采集的左右眼图像进行立体配准，计算出两张图片的视差图。视差图是在坐标系下同一水平线上的两个摄像头采集的图像中，像素点在左右两张图像中偏差的距离，根据图像中每个像素点的视差值可以计算出该点的深度值，即可得到该点的三维坐标。本项目采用基于Semi-global matching(SGM)算法计算视差图，为了达到手术导航实时性的要求，通过智能路径优化的方法对SGM算法在匹配过程中进行提速。
如下给出一种具体的肺部器官双目实时重建的流程：
(1)对于任意一帧肺部区域，对胸腔镜双目摄像头进行标定，得到摄像头相机内参和外参。该步骤的执行时间是手术前，即在手术前，胸腔镜双目摄像头拍摄标定板获取左眼图像和右眼图像，对胸腔镜双目摄像头进行标定，得到摄像头相机内参和外参。
(2)同时对左眼图像和右眼图像通过相机参数进行畸变校正和立体校正，将左眼图像和右眼图像转换到同一水平坐标系下。该步骤的执行时间可以是手术中，即在手术中，获取左眼图像和右眼图像，对左眼图像和右眼图像通过相机参数进行畸变校正和立体校正，将左眼图像和右眼图像转换到同一水平坐标系下。
(3)在手术过程中，对于任意一帧肺部区域，获取左眼图像和右眼图像的视差图。计算视差算法是通过选取每个像素点的视差，组成一个视差图，设置视差全局能量函数，最小化该函数，以达到求解每个像素的最优视差值，视差全局能量函数如下：
Figure BDA0004181678790000111
其中，D表示视差图；p、q分别代表左右两个图像的像素点；Np表示像素点p的相邻像素点，本实施例采用8连通区域；C()是度量像素间差的绝对值和，即C(p，Dp)表示当前像素点视差为Dp时，像素点p的绝对差分和；P1和F2是惩罚系数常量，用来平滑视差图，P1小于P2，在上述函数中，P1作为惩罚系数，用于惩罚像素p相邻像素q中视差值Dq与p的视差值相差为1的那些像素，P2用于惩罚视差值大于1的那些像素；I[]为二值函数，如果函数中的参数为真则返回1，否则返回0。
(4)通过视差图和相机坐标计算得到每个像素点的深度值，进而得到每个像素点在三维坐标系下的三维坐标，重建出每一帧肺部区域的肺部器官表面的点云信息。
在手术过程中，胸腔镜下每一视频帧都会实时重建一个肺部模型，由于视角、光线变化、图像分割误差等原因，每一帧的模型都不完整。为了获得完整、精确的肺部器官模型，得到每一帧肺部区域的肺部器官表面的点云信息之后，需要将每一帧多视角的三维点云片段缝合成一个完整的点云模型，即将各帧肺部区域的肺部器官表面的点云信息进行缝合，得到完整的术中实时肺部模型。
如下给出缝合的具体过程：对于任意相邻两帧肺部区域，采用尺度不变特征转换算法(Scale-invariant Feature Transform，SIFT)进行该相邻两帧肺部区域的图像特征匹配，采用随机抽样一致算法(RANSAC)去除掉匹配错误的点，采用改进SLAM算法，根据该相邻两帧肺部区域的匹配点和每帧肺部区域的深度图计算出该相邻两帧肺部区域中由前一帧肺部区域到后一帧肺部区域的变换矩阵。由此得到各帧肺部区域对应的变换矩阵，最后将各帧肺部区域的肺部器官表面的点云信息进行缝合，得到完整的术中实时肺部模型。
作为一个具体实施方式，首先定义通过深度学习分割后的胸腔镜视频序列为I1，I2…In，In表示当前视频序列帧，即肺部区域帧。对应每一视频帧，通过上述双目立体视觉重建算法实时重建的肺部表面模型片段为K1，K2…Kn。对于第一帧重建模型K1和第二帧重建模型K2，将第二帧重建模型K2缝合到第一帧K1时，首先采用SIFT算法进行视频帧I1和I2的特征匹配，然后采用随机抽样一致算法去除掉匹配错误的点，采用改进的SLAM方法，根据连续两张视频帧的匹配点和每帧的深度图计算出由K1到K2的变换矩阵
Figure BDA0004181678790000121
将第一帧模型片段K1变换到第二帧坐标系下可表示为/>
Figure BDA0004181678790000122
将第一帧点云数据变换到第二帧坐标系下后，能填补因视角原因丢失的点云数据。同样，根据链式法则，采用全局束调整(BundleAdjustment，BA)法去除掉因为计算累计而产生的误差，计算出变换矩阵/>
Figure BDA0004181678790000131
在每次点云融合时，通过Box Grid过滤方法，对融合点云进行降采样，去除掉噪音点和冗余点信息。最终将每一帧视频图像In所重建的模型片段Kn缝合成一个完成点云模型K，从而获得完整、精确的肺部器官表面模型。
步骤S3：将所述术中实时肺部模型变换到胸腔镜空间坐标系下，得到第一变换矩阵，并将预先得到的术前肺部模型与所述术中实时肺部模型进行配准，得到第二变换矩阵，根据所述第一变换矩阵和第二变换矩阵，将术前肺部模型投影到胸腔镜影像的坐标系下：
手术导航核心是将术前重建模型投影到胸腔镜影像上，为手术医生提供更广阔的手术视野，使医生在手术过程中看到器官内部的血管、病灶等区域，辅助医生手术操作。将术前肺部模型投影在胸腔镜影像上，实质上是将术前肺部模型变换到胸腔镜影像坐标系下。在手术操作前，进行静态配准过程中，首先构建胸腔镜、术前肺部模型、术中实时肺部模型坐标系，然后对术中实时肺部模型与术前肺部模型进行刚性初配准，最后采用一致性漂移算法(CPD)进行非刚性精确配准。
本实施例手术导航过程主要构建三个坐标系：术中实时肺部模型坐标系TLC(即世界坐标系)、胸腔镜影像坐标系TI和术前肺部模型坐标系TM。术中实时肺部模型投影到胸腔镜影像坐标系的变换用
Figure BDA0004181678790000132
表示，它是用术中实时肺部模型坐标系TLC到胸腔影像坐标系TI计算得到。本实施例中模型配准过程是为了计算术前肺部模型坐标系TM到术中实时肺部模型坐标系TLC的变换关系，用/>
Figure BDA0004181678790000133
表示。将术前肺部模型投影到胸腔镜影像的坐标变换过程用
Figure BDA0004181678790000134
表示，计算/>
Figure BDA0004181678790000135
过程需要联合/>
Figure BDA0004181678790000136
和/>
Figure BDA0004181678790000137
计算：
Figure BDA0004181678790000138
Figure BDA0004181678790000139
在相机标定时可以计算得到，本实施例重点是通过术前肺部模型与术中实时肺部模型配准得到/>
Figure BDA00041816787900001310
变换。
因此，先将术中实时肺部模型变换到胸腔镜空间坐标系下，得到第一变换矩阵，即变换矩阵
Figure BDA0004181678790000141
然后将术前肺部模型与术中实时肺部模型进行配准，得到第二变换矩阵。
作为一个具体实施方式，在术前肺部模型与术中实时肺部模型配准过程中，首先对模型进行刚性变换，将术前肺部模型变换到术中实时肺部模型坐标系下，完成初配准。上述方法已经通过双目重建算法和模型缝合技术得到术中实时重建模型K，本实施例通过迭代最近点算法(Iterative Closest Point，ICP)对术前肺部模型M与术中实时肺部模型K进行刚性配准。迭代最近点算法是通过旋转、平移使得两个点集之间的距离最小，计算出用于表征刚性变换的变换矩阵
Figure BDA0004181678790000142
该矩阵表示的是刚性变换，所以仅用四元组(R，T)即可表示。两个点集间的距离用如下目标函数表示：
Figure BDA0004181678790000143
其中，M表示术前肺部模型对应的点云信息，K表示术中实时肺部模型对应的点云信息，R表示配准变换的旋转矩阵，T表示变换的平移矩阵。通过最小化目标函数，得到模型M到模型K的变换矩阵(R，T)，从而得到刚性变换矩阵
Figure BDA0004181678790000144
非刚性配准是在上述刚性配准基础上，计算每个点云的变换矩阵，通过点云的非刚性变换，使术前肺部模型与术中实时肺部模型进行精准配准。采用一致性点漂移算法(Coherent Point Drift，CPD)进行术前肺部模型和术中实时肺部模型的非刚性配准。CPD算法是将两组点云配准问题描述为一个无监督的分类问题，该分类问题由具有运动相干约束的高斯混合模型(GMM)进行建模。以点集M为高斯模型的各个分模型(高斯模型的中心)，点集K中的点看成是由该模型生成的数据点。在非刚性CPD算法中，模型K匹配模型M对应的最小化能量函数为：
Figure BDA0004181678790000145
其中，E(v，σ2；w)为负对数自然函数；w是取值为[0，1]的权重参数，用来度量K中的噪音和离群值；σ2是各向同性协方差，v代表位移函数，λ是权衡参数。
从模型K匹配模型M的变换矩阵表示为T(K， v)＝K+v(K)，位移函数v用变分法求出，其形式如下：
v(K)＝G*W (5)
Figure BDA0004181678790000151
其中，G是一个高斯核矩阵，其元素由公式(6)表示；β表示点间相互作用的强度；最终求解的W为非刚性变换矩阵，用
Figure BDA0004181678790000152
表示非刚性变换矩阵。
根据刚性变换矩阵和非刚性变换矩阵，得到第二变换矩阵，即术前肺部模型与术中实时肺部模型进行配准的变换矩阵，为
Figure BDA0004181678790000153
根据第一变换矩阵和第二变换矩阵，将术前肺部模型投影到胸腔镜影像的坐标系下，即根据
Figure BDA0004181678790000154
和/>
Figure BDA0004181678790000155
得到/>
Figure BDA0004181678790000156
增强现实手术导航的本质是将术前肺部模型投影到手术视频中，其核心技术是通过模型间的配准计算出模型的变换矩阵，模型的配准技术为手术导航提供了充足的理论支撑。
步骤S4：基于术前肺部模型构建包含肺部相关混合组织的复合生物力学模型，人为标注肺部切割区域，基于复合生物力学模型和人为标注的肺部切割区域进行术中运动补偿：
上述模型配准过程是在手术操作前，对术前肺部模型与术中实时肺部模型进行配准。但在手术操作过程中，肺部器官被手术刀切割开，产生的大幅度非刚性形变，点云配准的方法无法模拟出器官运动，需要通过构建生物力学模型对术中产生的形变进行运动补偿。首先构建包含混合组织(混合组织可以包括血管、支气管和肺部软组织)的复合生物力学模型；然后医生手动标注肺部切割区域，通过胸腔镜视频切割区域的约束，对术前重建区域进行运动补偿和模型配准；最终得到与术中实时肺部模型完全精准一致的术前重建模型，将其实时投影在胸腔镜影像中完成增强现实手术导航。
其中，基于术前肺部模型构建包含肺部相关混合组织的复合生物力学模型，包括：
术前肺部模型中包含血管、支气管和肺部软组织，本实施例采用一种基于协同转动公式的有限元方法，根据术前肺部模型构建复合生物力学模型。该基于协同转动公式的有限元方法允许较大的位移，同时依赖于应力-应变关系的线性表达式。共转动方法是基于实际构型的分解，分为转动分量和变形分量，这两个分量在任意位置上都是量化的。其外力与位移相关的方程写为：
f＝K(u)u，u＝x-x0 (7)
其中f表示外力作用，K表示全局刚度矩阵，实际的整体刚度矩阵K在每一步形变中都取决于实际的变形u，x0和x分别代表静止位置和实际位置的节点位置。
肺部软组织采用线性四面体单元构建有限元模型。
Figure BDA0004181678790000161
表示肺部软组织，模型网格包含/>
Figure BDA0004181678790000162
个定点，整个模型有/>
Figure BDA0004181678790000163
个自由度。/>
Figure BDA0004181678790000164
的运动由/>
Figure BDA0004181678790000165
个向量组成，整体刚度矩阵/>
Figure BDA0004181678790000166
是一个/>
Figure BDA0004181678790000167
的矩阵。对于血管和支气管采用的线性四面体有限元模型稍有改变，每个节点由于旋转分量而具有6个自由度，/>
Figure BDA0004181678790000168
的运动由/>
Figure BDA0004181678790000169
个向量组成，整体刚度矩阵/>
Figure BDA00041816787900001610
是一个
Figure BDA00041816787900001611
的矩阵。采用Peterlik等人提出的方法建立复合生物力学模型。在时间步长开始时，施加在复合连接节点上的力被传播到四面体的顶点上。然后，将复合连接节点和四面体模型的刚度矩阵组装在一起，复合系统的求解导致四面体顶点的位移。最后，根据四面体的实际位置对复合连接节点的位置进行了更新。
在手术过程中，医生对肺部器官切割等操作产生的大幅度非刚性形变，需要手动在胸腔镜上标记出切割的边缘部分，即人为在胸腔镜影像中标注肺部切割区域的边缘线L，通过静态配准计算的变换矩阵
Figure BDA00041816787900001612
可将切割边缘线L变换至术前肺部模型坐标系下，由
Figure BDA00041816787900001613
得到术前肺部模型受约束的点。术前肺部模型中标记的点需要与胸腔镜标记出的点进行配准，配准问题作为一个最小化误差的问题来处理，这个问题包括生物力学的内能和跟踪能量。对能量的推导表明，当内力与跟踪力相等时，达到极值。生物力学模型内力表示为：
Figure BDA0004181678790000171
其中K表示刚度矩阵，Re顶点的旋转矩阵，x和x0是大小为3n的向量，n为器官模型顶点的自由度。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法，其特征在于，包括如下步骤：
获取胸腔镜影像；
对所述胸腔镜影像进行提取，得到肺部区域，并对肺部区域进行三维重建，得到术中实时肺部模型；
将所述术中实时肺部模型变换到胸腔镜空间坐标系下，得到第一变换矩阵，并将预先得到的术前肺部模型与所述术中实时肺部模型进行配准，得到第二变换矩阵，根据所述第一变换矩阵和第二变换矩阵，将术前肺部模型投影到胸腔镜影像的坐标系下；
基于术前肺部模型构建包含肺部相关混合组织的复合生物力学模型，人为标注肺部切割区域，基于复合生物力学模型和人为标注的肺部切割区域进行术中运动补偿。
2.根据权利要求1所述的胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法，其特征在于，所述对肺部区域进行三维重建，得到术中实时肺部模型，包括：
在手术前，胸腔镜双目摄像头拍摄标定板获取左眼图像和右眼图像，对胸腔镜双目摄像头进行标定，得到摄像头相机内参和外参；
同时对左眼图像和右眼图像通过相机参数进行畸变校正和立体校正，将左眼图像和右眼图像转换到同一水平坐标系下；
在手术过程中，对于任意一帧肺部区域，获取左眼图像和右眼图像的视差图；
通过视差图和相机坐标计算得到每个像素点的深度值，进而得到每个像素点在三维坐标系下的三维坐标，重建出每一帧肺部区域的肺部器官表面的点云信息；
将各帧肺部区域的肺部器官表面的点云信息进行缝合，得到完整的术中实时肺部模型。
3.根据权利要求2所述的胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法，其特征在于，在获取左眼图像和右眼图像的视差图时的视差全局能量函数如下：
Figure FDA0004181678780000021
其中，D表示视差图，p、q分别代表左右两个图像的像素点，Np表示像素点p的相邻像素点，C(p,Dp)表示当前像素点视差为Dp时，像素点p的绝对差分和，P1和P2是惩罚系数常量,P1小于P2，I[]为二值函数，如果函数中的参数为真则返回1，否则返回0。
4.根据权利要求1所述的胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法，其特征在于，所述将各帧肺部区域的肺部器官表面的点云信息进行缝合，得到完整的术中实时肺部模型，包括：
对于任意相邻两帧肺部区域，采用尺度不变特征转换算法进行该相邻两帧肺部区域的图像特征匹配，采用随机抽样一致算法去除掉匹配错误的点，采用改进SLAM算法，根据该相邻两帧肺部区域的匹配点和每帧肺部区域的深度图计算出由前一帧肺部区域到后一帧肺部区域的变换矩阵；由此得到各帧肺部区域对应的变换矩阵，最后将各帧肺部区域的肺部器官表面的点云信息进行缝合，得到完整的术中实时肺部模型。
5.根据权利要求1所述的胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法，其特征在于，所述将预先得到的术前肺部模型与所述术中实时肺部模型进行配准，得到第二变换矩阵，包括：
通过迭代最近点算法对术前肺部模型与术中实时肺部模型进行刚性配准，其中，迭代最近点算法是通过旋转、平移使得两个点集之间的距离最小，计算出用于表征刚性变换的变换矩阵，两个点集间的距离用如下目标函数表示：
Figure FDA0004181678780000031
其中，M表示术前肺部模型对应的点云信息，K表示术中实时肺部模型对应的点云信息，R表示配准变换的旋转矩阵，T表示变换的平移矩阵；
通过最小化目标函数，得到模型M到模型K的变换矩阵(R,T)，从而得到刚性变换矩阵；
采用一致性点漂移算法进行术前肺部模型和术中实时肺部模型的非刚性配准，其中，模型K匹配模型M对应的最小化能量函数为：
Figure FDA0004181678780000032
其中，E(v,σ2；w)为负对数自然函数，w是取值为[0,1]的权重参数，σ2是各向同性协方差，v代表位移函数，λ是权衡参数；
从模型K匹配模型M的变换矩阵表示为T(K,v)＝K+v(K)，位移函数v用变分法求出，其形式如下：
v(K)＝G*W
Figure FDA0004181678780000033
其中，G是一个高斯核矩阵，β表示点间相互作用的强度；W为非刚性变换矩阵；
根据刚性变换矩阵和非刚性变换矩阵，得到所述第二变换矩阵。
6.根据权利要求1所述的胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法，其特征在于，所述基于术前肺部模型构建包含肺部相关混合组织的复合生物力学模型，包括：
采用基于协同转动公式的有限元方法，根据术前肺部模型构建包含肺部相关混合组织的复合生物力学模型。
7.根据权利要求1所述的胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法，其特征在于，所述人为标注肺部切割区域，包括：人为在胸腔镜影像中标注肺部切割区域的边缘；
相应地，所述基于复合生物力学模型和人为标注的肺部切割区域进行术中运动补偿，包括：
将人为标注肺部切割区域得到的切割边缘线变换到术前肺部模型坐标系下，得到术前肺部模型受约束的点，结合复合生物力学模型实现术中运动补偿。
CN202310406699.0A 2023-04-14 2023-04-14 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法 Pending CN116421313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310406699.0A CN116421313A (zh) 2023-04-14 2023-04-14 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310406699.0A CN116421313A (zh) 2023-04-14 2023-04-14 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法

Publications (1)

Publication Number Publication Date
CN116421313A true CN116421313A (zh) 2023-07-14

Family

ID=87085062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310406699.0A Pending CN116421313A (zh) 2023-04-14 2023-04-14 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法

Country Status (1)

Country Link
CN (1) CN116421313A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN117281616A (zh) * 2023-11-09 2023-12-26 武汉真彩智造科技有限公司 一种基于混合现实的手术控制方法及系统
CN117808975A (zh) * 2024-02-27 2024-04-02 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于深度学习的肺部图像手术规划三维重建方法
CN118429549A (zh) * 2024-07-05 2024-08-02 武汉真彩智造科技有限公司 一种ai混合现实的实时医用三维重建方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN116883471B (zh) * 2023-08-04 2024-03-15 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN117281616A (zh) * 2023-11-09 2023-12-26 武汉真彩智造科技有限公司 一种基于混合现实的手术控制方法及系统
CN117281616B (zh) * 2023-11-09 2024-02-06 武汉真彩智造科技有限公司 一种基于混合现实的手术控制方法及系统
CN117808975A (zh) * 2024-02-27 2024-04-02 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于深度学习的肺部图像手术规划三维重建方法
CN117808975B (zh) * 2024-02-27 2024-05-03 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于深度学习的肺部图像手术规划三维重建方法
CN118429549A (zh) * 2024-07-05 2024-08-02 武汉真彩智造科技有限公司 一种ai混合现实的实时医用三维重建方法及系统

Similar Documents

Publication Publication Date Title
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
US11883118B2 (en) Using augmented reality in surgical navigation
CN116421313A (zh) 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法
AU2015204201B2 (en) Surgical devices and methods of use thereof
Zhang et al. A markerless automatic deformable registration framework for augmented reality navigation of laparoscopy partial nephrectomy
Hawkes et al. Tissue deformation and shape models in image-guided interventions: a discussion paper
EP1719078B1 (en) Device and process for multimodal registration of images
WO2017211087A1 (zh) 一种内窥镜手术导航方法和系统
CN114145846B (zh) 基于增强现实辅助的手术导航方法及系统
Pokhrel et al. A novel augmented reality (AR) scheme for knee replacement surgery by considering cutting error accuracy
Collins et al. Computer-assisted laparoscopic myomectomy by augmenting the uterus with pre-operative MRI data
Baka et al. Statistical shape model-based femur kinematics from biplane fluoroscopy
CN116492052B (zh) 一种基于混合现实脊柱三维可视化手术导航系统
CN115358995A (zh) 基于多模态信息融合的全自动空间注册系统
Stolka et al. A 3D-elastography-guided system for laparoscopic partial nephrectomies
Groch et al. 3D surface reconstruction for laparoscopic computer-assisted interventions: comparison of state-of-the-art methods
CN115049806A (zh) 基于蒙特卡洛树搜索的人脸增强现实标定方法及装置
Li et al. A fully automatic surgical registration method for percutaneous abdominal puncture surgical navigation
Bano et al. Registration of preoperative liver model for laparoscopic surgery from intraoperative 3d acquisition
Maharjan et al. A novel visualization system of using augmented reality in knee replacement surgery: Enhanced bidirectional maximum correntropy algorithm
CN115668281A (zh) 使用多视图姿态估计的方法和系统
Speidel et al. Intraoperative surface reconstruction and biomechanical modeling for soft tissue registration
Andrea et al. Validation of stereo vision based liver surface reconstruction for image guided surgery
CN114283179B (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准系统
CN116485850A (zh) 基于深度学习的手术导航影像的实时非刚性配准方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination