CN112528529A - 一种腹腔镜裸眼模拟现实方法 - Google Patents

一种腹腔镜裸眼模拟现实方法 Download PDF

Info

Publication number
CN112528529A
CN112528529A CN202010932225.6A CN202010932225A CN112528529A CN 112528529 A CN112528529 A CN 112528529A CN 202010932225 A CN202010932225 A CN 202010932225A CN 112528529 A CN112528529 A CN 112528529A
Authority
CN
China
Prior art keywords
body model
organ
deformation
model
organ body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010932225.6A
Other languages
English (en)
Inventor
高欣
夏威
张家意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhitu Technology Co Ltd
Original Assignee
Suzhou Priisen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Priisen Information Technology Co ltd filed Critical Suzhou Priisen Information Technology Co ltd
Priority to CN202010932225.6A priority Critical patent/CN112528529A/zh
Publication of CN112528529A publication Critical patent/CN112528529A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Endoscopes (AREA)
  • Instructional Devices (AREA)

Abstract

本发明公开了一种腹腔镜裸眼模拟现实方法，包括腹腔镜在脏器体模型中精准引导的裸眼模拟现实系统，由3D腹腔镜、图形工作站及裸眼3D显示设备组成，腹腔镜模拟现实通过将重建于术前CT/MRI结构影像中脏器解剖结构的虚拟3D模型与采集自腹腔镜图像中脏器真实表面的空间配准，实现虚拟图像到发生形变的现实场景的映射，以3D腹腔镜两路视角无介质输出至裸眼3D显示，实现模拟现实展现，引导术者完成精细化腹腔镜手术。

Description

一种腹腔镜裸眼模拟现实方法
技术领域
本发明涉及一种腹腔镜裸眼模拟现实方法，尤其涉及术前结构影像与术中真实腹腔镜图像的融合显示方法；属于人工智能的模拟现实领域。
背景技术
增强现实（Augmented Reality, AR）是一种将计算机生成的虚拟景象实时叠加到真实场景上的显示技术。AR与3D腹腔镜结合的腹腔镜增强现实（Laparoscopic AugmentedReality, LAR）技术是将术前CT或MRI等结构影像上标注的解剖结构重建成虚拟3D模型实时叠加到腹腔镜视野上，以超越真实的腹腔镜视野，增强显示手术靶标信息，指导术者判断切割方向和深度，为脏器内部解剖结构的透视显示提供一种解决方案。混合现实（MixedReality，MR）是AR的进一步发展，通过在现实场景、虚拟模型和用户之间搭建一个交互反馈的信息回路，以增强用户体验的真实感。AR或MR与3D腹腔镜结合，均需要依赖头盔或眼镜等近眼显示设备实现3D显示。
与AR和MR不同，基于裸眼3D技术、融入深度感知与空间交互的模拟现实（Simulated Reality, SR）无需用户佩戴头戴式设备，便可实现虚拟3D模型与现实场景的无介质融合与实时交互。将基于术前结构影像获取的脏器内部解剖结构虚拟3D模型与术中腹腔镜获取的真实脏器图像无介质融合，有望突破现有腹腔镜手术引导系统的固有瓶颈。因此，利用裸眼3D显示技术，将3D腹腔镜与模拟现实相结合，提出腹腔镜模拟现实（Laparoscopic Simulated Reality, LSR）技术，将是腹腔镜手术的发展趋势。
LSR通过将重建于术前CT/MRI结构影像中脏器解剖结构的虚拟3D模型与采集自腹腔镜图像中脏器真实表面的空间配准（Registration），实现虚拟图像到发生形变的现实场景的映射，以3D腹腔镜两路视角无介质输出至裸眼3D显示，实现模拟现实展现，引导术者完成精细化腹腔镜手术。
发明内容
本发明目的在于克服2D腹腔镜平面视觉限制，还原同传统开腹手术相似的立体手术视野，可精确显示手术区域内组织层次与解剖结构，帮助术者快速准确地完成如淋巴结清扫、重要血管分离裸化、消化道重建等精细定向操作，提供一种腹腔镜模拟现实技术。该方法克服了面对腹腔脏器内部手术，如肝、肾或结直肠肿瘤切除时，受3D腹腔镜和现有医学成像技术限制，术者术中无法感知脏器内部结构信息，再加上充气压力、呼吸运动及器械牵拉、按压、切割等诸多外部因素交互影响，脏器内部重要解剖结构会实时发生形变，即便有术前CT/MRI结构影像辅助参考，术者仍无从感知脏器内部重要解剖结构位置的变化情况，无法精准实施重要血管、组织、神经的规避和保护等高难度操作。
为实现临床需求，本发明还提供了一种腹腔镜手术引导系统，该系统在不改变现有手术模式的情况下为腹腔镜手术提供辅助引导功能，该功能无需中断手术操作过程，可在腔镜视野下透视显示脏器内部重要解剖结构。术者在术前将患者结构影像信息（CT）导入系统中，该系统便自动标注结构影像数据中的目标脏器及内部主要血管，生成脏器虚拟3D模型。术中，系统对3D腹腔镜图像自动无损标注脏器，并提取其表面信息，借助系统提供的形变补偿功能，自动地将脏器虚拟3D模型变换为术中脏器解剖结构受外部因素影响形变后的真实形态，并以腹腔镜两路视角与腹腔镜真实脏器图像融合，借助开放式裸眼3D显示产生模拟现实效果。术者无需佩戴任何载具，通过肉眼直接观看腹腔镜脏器表面信息及脏器内部重要解剖结构的透视图像。特别是该系统需兼容临床中广泛使用的3D腹腔镜系统。
本发明还提供的一种腹腔镜裸眼模拟现实方法，包括腹腔镜在脏器体模型中精准引导的裸眼模拟现实系统，由3D腹腔镜、图形工作站及裸眼3D显示设备组成，其中，所述图形工作站内的软件模块接收CT采集的术前结构影像并自动标注脏器及内部解剖结构，生成虚拟3D模型；所述3D腹腔镜将所接收到的图像实时传输给所述图形工作站，所述图形工作站内的软件模块对虚拟3D模型进行实时形变补偿，并将腹腔镜所接收到的图像与虚拟3D模型以腹腔镜双路视角输出至裸眼3D显示设备生成模拟现实图像；具体包括以下步骤
（1）在脏器体模型中，精准引导腹腔镜轨迹，同时采集脏器体模型的CT影像与腹腔镜3D图像，构筑一套腹腔镜真实场景数据集；
（2）基于构筑的数据集，开展脏器体模型全自动标注、多外力作用下脏器体模型内外形变生物力学仿真建模以及脏器体模型动态形变实时补偿性能标准化评价；
（3）利用脏器体模型在腹腔镜进入前与进入过程中标注的结果，结合生物力学仿真模型，实时求解脏器体模型内部形变，获得虚拟3D模型实时形变补偿结果，并对补偿性能进行标准化定量评估；
（4）将虚拟3D模型与真实腹腔镜图像融合，利用高分辨率、低串扰率的裸眼3D显示设备生成模拟现实图像，并准确投送至人眼，使人在无介质环境下肉眼直接观看3D图像。
进一步地，步骤（1）中的腹腔镜真实场景数据集为实现脏器体模型动态形变实时补偿提供了数据基础，脏器体模型动态形变实时补偿包括：多外力作用下脏器体模型内外形变生物力学仿真建模、脏器体模型表面形变实时获取和脏器体模型内部形变实时求解三个部分。
进一步地，首先，通过多外力作用下脏器体模型内外形变生物力学仿真建模，获得脏器体模型内部主要结构在外部载荷影响下的形变规律，建立脏器体模型内外形变生物力学模型，为脏器体模型形变补偿提供模型基础；
然后，采用快速点集弹性配准算法将虚拟3D模型表面点集与3D腹腔镜图像中真实脏器体模型表面点集进行配准，实时获取脏器体模型表面形变场；
最后，通过随机设置脏器体模型内外形变生物力学模型的外部载荷参数，仿真脏器体模型表面形变场及其对应的脏器内部形变场，通过重复仿真过程得到大量样本，训练深度回归网络学习脏器体模型表面形变场与脏器体模型内部形变场的耦合关系，借助深度回归网络学习实时预测优势，以实时获取的脏器体模型表面形变场为输入，实时求解脏器体模型内部形变场，实现脏器体模型动态形变实时补偿。
进一步地，针对肝脏体模型、肾脏体模型及结直肠体模型分别建立典型的脏器体模型有限元模型，采取以下解决方案：
首先，建立含内部重要解剖结构（血管等管腔）与外部支承约束的完整脏器体模型有限元模型，进行外部因素载荷建模。在脏器虚拟3D模型基础上，进行脏器主要结构的应力拉伸实验、应力松弛实验与切割试验，得到脏器内部重要组织结构的生物力学参数。分析外部因素对脏器形变作用的影响，确定载荷形式以及施加的区域位置，基于此对载荷以及约束支承条件进行相应的设置，建立骨骼球形式的弹簧-质点模型的脏器内部载荷形式，保证变形仿真的真实性。
其次，提出有限元仿真接触碰撞检测方法与脏器体模型的软组织材料失效准则。进行充气压力、呼吸运动以及手术器械牵拉、挤压、切割等外部因素对脏器体模型形变影响实验与分析，确定不同因素与组织之间的相互作用力大小，设定接触碰撞与破裂的作用力阈值，设计基于力响应的载荷与器官组织的接触碰撞检测方法。基于材料的畸变能理论，研究脏器体模型的失效准则，通过脏器体模型的软组织畸变能密度进行组织材料破坏失效判断，揭示器械与脏器组织作用时的接触与失效机理，解决脏器在外部载荷作用下的破裂问题。
最后，进行完整脏器（表面及内部结构）有限元模型仿真、优化与验证。在上述方案的基础上，进行完整脏器体模型形变生物力学仿真，研究不同载荷及不同阶段的脏器弹性形变与永久形变情况，得到软组织形变数据与力-位移曲线。通过形变实验，比较形变结果与仿真形变，优化有限元模型网格等仿真参数，通过作用力数值误差、形变距离误差指标验证完整脏器有限元模型模拟脏器体模型形变的准确性，实现脏器体模型软组织在外部因素的作用下的多类型形变仿真，为脏器体模型形变补偿提供精确的生物力学模型。
进一步地，为了获得真实脏器体模型表面点集，首先对3D腹腔镜进行标定校准，利用腹腔镜拍摄平面棋盘纸，将棋盘纸可视范围内做不同方位的变化，以获取最为清晰的腹腔镜图像，同时保证覆盖腹腔镜图像平面的大部分区域，采用20幅不同方位的棋盘纸图像，基于平面模板法标定3D腹腔镜的内外参数。然后基于腹腔镜3D图像，通过脏器体模型无损标注模型获取脏器体模型表面区域，采用视差校正、点云细化、3D重建、点云平滑和网格划分等方法获取腔镜图像中脏器体模型3D表面信息，得到真实场景中脏器体模型表面点集。利用术前影像脏器体模型标注结果及构建的虚拟3D模型，获取虚拟脏器体模型表面点集。
进一步地，将虚拟脏器体模型表面点集和真实脏器体模型表面点集分别记为S和G，利用带有RELU非线性激活的多层感知机函数
Figure DEST_PATH_IMAGE001
分别提取两个点集的多维形状特征表示，利用最大池化操作将两个多维形状特征融合成两个特征向量，并以此作为两个点集的形状特征描述子，分别记为
Figure 405234DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE003
：
Figure 623726DEST_PATH_IMAGE004
(1)
Figure DEST_PATH_IMAGE005
(2)
然后将这两个描述子和虚拟脏器体模型表面点集坐标
Figure 483097DEST_PATH_IMAGE006
进行拼接，使之成为一个包含虚拟脏器体模型表面点集特征和真实脏器体模型表面点集特征的联合向量，记为
Figure DEST_PATH_IMAGE007
。利用多层感知机函数
Figure 91933DEST_PATH_IMAGE008
，以
Figure DEST_PATH_IMAGE009
作为输入，计算G相较S的漂移量
Figure 826278DEST_PATH_IMAGE010
，记为：
Figure DEST_PATH_IMAGE011
(3)
将此漂移量与原坐标进行叠加，模拟出配准后真实脏器体模型表面点集
Figure 836959DEST_PATH_IMAGE012
和对应的坐标
Figure DEST_PATH_IMAGE013
:
Figure 929549DEST_PATH_IMAGE014
(4)
最后，将
Figure 25681DEST_PATH_IMAGE013
与真实腹腔镜图像点集坐标
Figure DEST_PATH_IMAGE015
进行图像匹配相似度测算，利用倒角距离（Chamfer Distance）衡量二者的匹配程度，并以倒角距离作为模型的损失函数，指导训练模型进行参数的迭代更新：
Figure 534023DEST_PATH_IMAGE016
(5)
训练完成后得到点集弹性配准模型，借助该模型可将虚拟3D模型表面与3D腹腔镜中的真实脏器体模型表面对齐，实时获取脏器表面形变场
Figure DEST_PATH_IMAGE017
。
进一步地，采用高性能计算集群利用生物力学模型离线仿真大量受随机外部因素影响下的
Figure 664790DEST_PATH_IMAGE018
个脏器体模型形变样本：对于每个脏器体模型形变样本，脏器体模型表面形变场为
Figure DEST_PATH_IMAGE019
，其中
Figure 367429DEST_PATH_IMAGE020
代表脏器体模型表面网格形变节点
Figure DEST_PATH_IMAGE021
的形变量，随机设置外部载荷得到
Figure 950857DEST_PATH_IMAGE020
，然后利用已构建的生物力学模型仿真得到脏器体模型内部形变场
Figure 200572DEST_PATH_IMAGE022
，其中
Figure DEST_PATH_IMAGE023
代表脏器体模型表面网格形变节点
Figure 248163DEST_PATH_IMAGE024
的位移。通过仿真大量脏器体模型形变样本，可为基于认知计算的神经网络模型训练提供大量样本。
进一步地，为了根据脏器体模型表面形变场
Figure 557922DEST_PATH_IMAGE017
实时求解内部形变场
Figure DEST_PATH_IMAGE025
，拟采用深度回归神经网络（DeepRegression Network，DRN）学习脏器体模型表面形变场
Figure 628646DEST_PATH_IMAGE017
与脏器体模型内部形变场
Figure 744369DEST_PATH_IMAGE025
的形变映射关系，构建DRN网络模型
Figure 584149DEST_PATH_IMAGE026
，DRN具备数据端到端快速处理能力，模型训练好后，以脏器体模型表面形变场
Figure 64809DEST_PATH_IMAGE017
为输入，无需迭代，可直接快速输出脏器体模型内部形变场
Figure 419567DEST_PATH_IMAGE025
。
进一步地，为了保证脏器体模型内部重要血管的配准精度，采用平均目标配准误差（MTRE）作为DRN的损失函数，即针对脏器内部形变，计算脏器体模型内部解剖结构（重要血管分支点）
Figure DEST_PATH_IMAGE027
个关键标记点
Figure 276665DEST_PATH_IMAGE028
经内部形变场
Figure 970951DEST_PATH_IMAGE025
补偿变换后的坐标
Figure DEST_PATH_IMAGE029
与实际坐标
Figure 183365DEST_PATH_IMAGE030
的平均误差（MTE）：
Figure DEST_PATH_IMAGE031
(6)。
进一步地，脏器体模型动态形变补偿性能需要标准化评价，包括评价数据集的设计及量化评价指标的定义，基于构筑的腹腔镜手术真实场景数据集，从脏器体模型表面及内部解剖结构的形变补偿误差及补偿速度，全面评价系统的形变补偿性能，具体评价指标定义如下：
（1）针对脏器体模型表面形变，计算金标准图像
Figure 290998DEST_PATH_IMAGE032
与形变补偿后图像
Figure DEST_PATH_IMAGE033
的Dice相似性系数（DiceSimilarity Coefficient，DSC）或F1分数（F1 score），作为脏器表面形变补偿误差：
Figure 686207DEST_PATH_IMAGE034
(7)
（2）针对脏器体模型内部形变，由放射科医师标注CT影像数据中脏器血管分支点作为金标准，计算脏器体模型内部解剖结构（血管分支点）
Figure 235000DEST_PATH_IMAGE027
个关键标记点
Figure 385359DEST_PATH_IMAGE028
由形变补偿变换后的坐标
Figure 652392DEST_PATH_IMAGE029
与实际坐标
Figure 585713DEST_PATH_IMAGE030
的平均误差（Mean Target Error, MTE），作为脏器内部形变补偿误差：
Figure 316909DEST_PATH_IMAGE031
(8)
（3）针对脏器体模型形变补偿速度，计算一次完整形变补偿流程（术前脏器解剖结构3D模型载入直至形变补偿结束）结束时刻
Figure DEST_PATH_IMAGE035
与开始时刻
Figure 575852DEST_PATH_IMAGE036
之间的差值，作为脏器形变补偿时间：
Figure DEST_PATH_IMAGE037
(9)。
与现有技术相比，本发明的有益效果为：
（1）本发明的方法增强用户体验的真实感，克服了AR或MR与3D腹腔镜结合，均需要依赖头盔或眼镜等近眼显示设备实现3D显示的难题。
（2）本发明方法基于脏器体模型，为实际临床应用提供了借鉴，真实手术过程可利用该方法，将3D腹腔镜与模拟现实相结合，为术者提供更加清晰导引，引导术者完成精细化腹腔镜手术，术者无需佩戴任何载具，通过肉眼直接观看腹腔镜脏器表面信息及脏器内部重要解剖结构的透视图像。
（3）本发明模型的建立具有实施补偿功能，针对肝脏、肾脏及结直肠分别建立的脏器有限元模型，可以通过作用力数值误差、形变距离误差指标验证完整脏器有限元模型模拟脏器形变的准确性，实现脏器软组织在外部因素的作用下的多类型形变仿真，为脏器形变补偿提供精确的生物力学模型。
以下将对本发明的构思、具体材料结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于以下列举的特定实施例。
实施例1
完整脏器有限元模型搭建，在步骤（3）中构建的脏器虚拟3D模型的基础上，进行平滑、面片优化以及面片削减等工作，提高后期有限元分析的精度与收敛速度。
针对脏器体模型内部主要结构，设计专用夹具，在高精度拉力试验机与六维力/力矩传感器的基础上，搭建生物力学测试平台，进行脏器体模型内部主要结构的应力拉伸实验、应力松弛实验与切割试验。对实验数据进行分析，得到脏器体模型组织的Mooney-Rivlin超弹性参数、Maxwell粘弹性参数以及泊松比等力学参数，对不同器官与不同组织构成的区域，赋值不同生物力学材料属性，建立脏器体模型的超弹性-粘弹性本构模型，其中，各力学参数达到相应脏器体模型模型化的同类水平。分析复杂的生物组织构造与手术接触区域，选择三角面片或四面体单元，对不同区域进行不同类型的网格划分，尤其是对接触区域进行网格细化，进行完整脏器体模型有限元模型搭建。
针对构建的完整脏器体模型有限元模型，进行外部因素对脏器体模型作用的分析，确定载荷形式以及施加的区域位置，并对载荷以及约束支承条件进行相应的设置。其中，对于脏器体模型内部载荷，根据内部几何形状建立骨骼球形式的弹簧-质点模型，当脏器体模型受到外部载荷作用时，模型受力随之发生变形，并研究不同脏器体模型与不同形状下弹簧-质点模型中质点（骨骼球）的数量最优值，提高变形仿真的真实性。手术器械定义为金属合金类属性。
实施例2
完整脏器体模型有限元模型仿真，进行充气压力、呼吸运动以及手术器械牵拉、按压和切割等外部因素作用下的脏器体模型形变实验，确定不同因素与器官组织之间的相互作用力的大小，设定接触碰撞与破裂的作用力阈值。基于手术力响应，检测手术器械与物理模型的接触位置、接触起始时间、破裂时间等。对特殊手术器械，如超声刀和电凝刀，通过器械的运动位移确定接触问题。
脏器软组织在载荷作用下会发生变形或破裂，而破裂问题的核心是确定不同器官组织的失效准则。本发明拟基于材料的畸变能理论研究脏器的组织失效准则，即脏器体模型组织的畸变能密度达到其极限值，材料发生破坏，并利用Abaqus软件子程序Vumat对软组织超弹性材料属性及失效准则进行定义。
基于完整脏器体模型有限元模型，研究不同载荷及不同阶段的脏器形变情况，包括脏器内压存在时的弹性形变与内压消失后的永久形变，后者主要为脏器被刺穿后的不可恢复形变。仿真中，实施力响应接触碰撞检测，获取碰撞信息，并根据碰撞位置信息，确定碰撞点的影响区域；然后，确定分析时间步，进行仿真计算，得到碰撞位置和影响区域各点的位移等软组织形变数据，并计算载荷与器官组织作用时的应力、应变和位移。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种腹腔镜裸眼模拟现实方法，其特征在于：
包括腹腔镜在脏器体模型中精准引导的裸眼模拟现实系统，由3D腹腔镜、图形工作站及裸眼3D显示设备组成，其中，所述图形工作站内的软件模块接收CT采集的术前结构影像并自动标注脏器及内部解剖结构，生成虚拟3D模型；所述3D腹腔镜将所接收到的图像实时传输给所述图形工作站，所述图形工作站内的软件模块对虚拟3D模型进行实时形变补偿，并将腹腔镜所接收到的图像与虚拟3D模型以腹腔镜双路视角输出至裸眼3D显示设备生成模拟现实图像；具体包括以下步骤
（1）在脏器体模型中，精准引导腹腔镜轨迹，同时采集脏器体模型的CT影像与腹腔镜3D图像，构筑一套腹腔镜真实场景数据集；
（2）基于构筑的数据集，开展脏器体模型全自动标注、多外力作用下脏器体模型内外形变生物力学仿真建模以及脏器体模型动态形变实时补偿性能标准化评价；
（3）利用脏器体模型在腹腔镜进入前与进入过程中标注的结果，结合生物力学仿真模型，实时求解脏器体模型内部形变，获得虚拟3D模型实时形变补偿结果，并对补偿性能进行标准化定量评估；
（4）将虚拟3D模型与真实腹腔镜图像融合，利用高分辨率、低串扰率的裸眼3D显示设备生成模拟现实图像，并准确投送至人眼，使人在无介质环境下肉眼直接观看3D图像。
2.根据权利要求1所述的一种腹腔镜裸眼模拟现实方法，其特征在于，步骤（1）中的腹腔镜真实场景数据集为实现脏器体模型动态形变实时补偿提供了数据基础，脏器体模型动态形变实时补偿包括：多外力作用下脏器体模型内外形变生物力学仿真建模、脏器体模型表面形变实时获取和脏器体模型内部形变实时求解三个部分。
3.根据权利要求2所述的一种腹腔镜裸眼模拟现实方法，其步骤（2）特征在于，
首先，通过多外力作用下脏器体模型内外形变生物力学仿真建模，获得脏器体模型内部主要结构在外部载荷影响下的形变规律，建立脏器体模型内外形变生物力学模型，为脏器体模型形变补偿提供模型基础；
然后，采用快速点集弹性配准算法将虚拟3D模型表面点集与3D腹腔镜图像中真实脏器体模型表面点集进行配准，实时获取脏器体模型表面形变场；
最后，通过随机设置脏器体模型内外形变生物力学模型的外部载荷参数，仿真脏器体模型表面形变场及其对应的脏器内部形变场，通过重复仿真过程得到大量样本，训练深度回归网络学习脏器体模型表面形变场与脏器体模型内部形变场的耦合关系，借助深度回归网络学习实时预测优势，以实时获取的脏器体模型表面形变场为输入，实时求解脏器体模型内部形变场，实现脏器体模型动态形变实时补偿。
4.根据权利要求3所述的一种腹腔镜裸眼模拟现实方法，其步骤（2）特征在于，针对肝脏体模型、肾脏体模型及结直肠体模型分别建立典型的脏器体模型有限元模型，采取以下解决方案：
首先，建立含内部重要解剖结构（血管等管腔）与外部支承约束的完整脏器体模型有限元模型，进行外部因素载荷建模；在脏器虚拟3D模型基础上，进行脏器主要结构的应力拉伸实验、应力松弛实验与切割试验，得到脏器内部重要组织结构的生物力学参数；分析外部因素对脏器形变作用的影响，确定载荷形式以及施加的区域位置，基于此对载荷以及约束支承条件进行相应的设置，建立骨骼球形式的弹簧-质点模型的脏器内部载荷形式，保证变形仿真的真实性；
其次，提出有限元仿真接触碰撞检测方法与脏器体模型的软组织材料失效准则；进行充气压力、呼吸运动以及手术器械牵拉、挤压、切割等外部因素对脏器体模型形变影响实验与分析，确定不同因素与组织之间的相互作用力大小，设定接触碰撞与破裂的作用力阈值，设计基于力响应的载荷与器官组织的接触碰撞检测方法；
最后，进行完整脏器（表面及内部结构）有限元模型仿真、优化与验证。
5.根据权利要求1所述的一种腹腔镜裸眼模拟现实方法，其步骤（2）特征在于，为了获得真实脏器体模型表面点集，首先对3D腹腔镜进行标定校准，利用腹腔镜拍摄平面棋盘纸，将棋盘纸可视范围内做不同方位的变化，以获取最为清晰的腹腔镜图像，同时保证覆盖腹腔镜图像平面的大部分区域，采用20幅不同方位的棋盘纸图像，基于平面模板法标定3D腹腔镜的内外参数；然后基于腹腔镜3D图像，通过脏器体模型无损标注模型获取脏器体模型表面区域，采用视差校正、点云细化、3D重建、点云平滑和网格划分等方法获取腔镜图像中脏器体模型3D表面信息，得到真实场景中脏器体模型表面点集；利用术前影像脏器体模型标注结果及构建的虚拟3D模型，获取虚拟脏器体模型表面点集。
6.根据权利要求5所述的一种腹腔镜裸眼模拟现实方法，其步骤（2）特征在于，将虚拟脏器体模型表面点集和真实脏器体模型表面点集分别记为S和G，利用带有RELU非线性激活的多层感知机函数
Figure 329417DEST_PATH_IMAGE001
分别提取两个点集的多维形状特征表示，利用最大池化操作将两个多维形状特征融合成两个特征向量，并以此作为两个点集的形状特征描述子，分别记为
Figure 400142DEST_PATH_IMAGE002
和
Figure 453548DEST_PATH_IMAGE003
：
Figure 355645DEST_PATH_IMAGE004
(1)
Figure 836305DEST_PATH_IMAGE005
(2)
然后将这两个描述子和虚拟脏器体模型表面点集坐标
Figure 128746DEST_PATH_IMAGE006
进行拼接，使之成为一个包含虚拟脏器体模型表面点集特征和真实脏器体模型表面点集特征的联合向量，记为
Figure 48161DEST_PATH_IMAGE007
；利用多层感知机函数
Figure 742447DEST_PATH_IMAGE008
，以
Figure 394008DEST_PATH_IMAGE009
作为输入，计算G相较S的漂移量
Figure 177DEST_PATH_IMAGE010
，记为：
Figure 395386DEST_PATH_IMAGE011
(3)
将此漂移量与原坐标进行叠加，模拟出配准后真实脏器体模型表面点集
Figure 944179DEST_PATH_IMAGE012
和对应的坐标
Figure 32221DEST_PATH_IMAGE013
:
Figure 361571DEST_PATH_IMAGE014
(4)
最后，将
Figure 560471DEST_PATH_IMAGE013
与真实腹腔镜图像点集坐标
Figure 963771DEST_PATH_IMAGE015
进行图像匹配相似度测算，利用倒角距离（Chamfer Distance）衡量二者的匹配程度，并以倒角距离作为模型的损失函数，指导训练模型进行参数的迭代更新：
Figure 285030DEST_PATH_IMAGE016
(5)
训练完成后得到点集弹性配准模型，借助该模型可将虚拟3D模型表面与3D腹腔镜中的真实脏器体模型表面对齐，实时获取脏器表面形变场
Figure 39360DEST_PATH_IMAGE017
。
7.根据权利要求6所述的一种腹腔镜裸眼模拟现实方法，其步骤（2）特征在于，
采用高性能计算集群利用生物力学模型离线仿真大量受随机外部因素影响下的
Figure 776372DEST_PATH_IMAGE018
个脏器体模型形变样本：对于每个脏器体模型形变样本，脏器体模型表面形变场为
Figure 362074DEST_PATH_IMAGE019
，其中
Figure 791918DEST_PATH_IMAGE020
代表脏器体模型表面网格形变节点
Figure 767964DEST_PATH_IMAGE021
的形变量，随机设置外部载荷得到
Figure 872449DEST_PATH_IMAGE020
，然后利用已构建的生物力学模型仿真得到脏器体模型内部形变场
Figure 515920DEST_PATH_IMAGE022
，其中
Figure 851086DEST_PATH_IMAGE023
代表脏器体模型表面网格形变节点
Figure 642325DEST_PATH_IMAGE024
的位移；通过仿真大量脏器体模型形变样本，可为基于认知计算的神经网络模型训练提供大量样本。
8.根据权利要求7所述的一种腹腔镜裸眼模拟现实方法，其步骤（2）特征在于，
为了根据脏器体模型表面形变场
Figure 721139DEST_PATH_IMAGE017
实时求解内部形变场
Figure 219117DEST_PATH_IMAGE025
，拟采用深度回归神经网络（DeepRegression Network，DRN）学习脏器体模型表面形变场
Figure 787501DEST_PATH_IMAGE017
与脏器体模型内部形变场
Figure 3719DEST_PATH_IMAGE025
的形变映射关系，构建DRN网络模型
Figure 886224DEST_PATH_IMAGE026
，DRN具备数据端到端快速处理能力，模型训练好后，以脏器体模型表面形变场
Figure 238708DEST_PATH_IMAGE017
为输入，无需迭代，可直接快速输出脏器体模型内部形变场
Figure 243573DEST_PATH_IMAGE025
。
9.根据权利要求8所述的一种腹腔镜裸眼模拟现实方法，其步骤（2）特征在于，为了保证脏器体模型内部重要血管的配准精度，采用平均目标配准误差（MTRE）作为DRN的损失函数，即针对脏器内部形变，计算脏器体模型内部解剖结构（重要血管分支点）
Figure 681508DEST_PATH_IMAGE027
个关键标记点
Figure 662977DEST_PATH_IMAGE028
经内部形变场
Figure 135547DEST_PATH_IMAGE025
补偿变换后的坐标
Figure 983417DEST_PATH_IMAGE029
与实际坐标
Figure 908648DEST_PATH_IMAGE030
的平均误差（MTE）：
Figure 195272DEST_PATH_IMAGE031
(6)。
10.根据权利要求9所述的一种腹腔镜裸眼模拟现实方法，其步骤（3）特征在于，
脏器体模型动态形变补偿性能需要标准化评价，包括评价数据集的设计及量化评价指标的定义，基于构筑的腹腔镜手术真实场景数据集，从脏器体模型表面及内部解剖结构的形变补偿误差及补偿速度，全面评价系统的形变补偿性能，具体评价指标定义如下：
（1）针对脏器体模型表面形变，计算金标准图像
Figure 522349DEST_PATH_IMAGE032
与形变补偿后图像
Figure 806699DEST_PATH_IMAGE033
的Dice相似性系数（DiceSimilarity Coefficient，DSC）或F1分数（F1 score），作为脏器表面形变补偿误差：
Figure 281543DEST_PATH_IMAGE034
(7)
（2）针对脏器体模型内部形变，由放射科医师标注CT影像数据中脏器血管分支点作为金标准，计算脏器体模型内部解剖结构（血管分支点）
Figure 43963DEST_PATH_IMAGE027
个关键标记点
Figure 225545DEST_PATH_IMAGE028
由形变补偿变换后的坐标
Figure 743114DEST_PATH_IMAGE029
与实际坐标
Figure 642937DEST_PATH_IMAGE030
的平均误差（Mean Target Error, MTE），作为脏器内部形变补偿误差：
Figure 209048DEST_PATH_IMAGE031
(8)
（3）针对脏器体模型形变补偿速度，计算一次完整形变补偿流程（术前脏器解剖结构3D模型载入直至形变补偿结束）结束时刻
Figure 245137DEST_PATH_IMAGE035
与开始时刻
Figure 435072DEST_PATH_IMAGE036
之间的差值，作为脏器形变补偿时间：
Figure 822191DEST_PATH_IMAGE037
(9)。
CN202010932225.6A 2020-09-08 2020-09-08 一种腹腔镜裸眼模拟现实方法 Pending CN112528529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010932225.6A CN112528529A (zh) 2020-09-08 2020-09-08 一种腹腔镜裸眼模拟现实方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010932225.6A CN112528529A (zh) 2020-09-08 2020-09-08 一种腹腔镜裸眼模拟现实方法

Publications (1)

Publication Number Publication Date
CN112528529A true CN112528529A (zh) 2021-03-19

Family

ID=74978781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010932225.6A Pending CN112528529A (zh) 2020-09-08 2020-09-08 一种腹腔镜裸眼模拟现实方法

Country Status (1)

Country Link
CN (1) CN112528529A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578437A (zh) * 2022-12-01 2023-01-06 武汉楚精灵医疗科技有限公司 肠体病灶深度数据获取方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578437A (zh) * 2022-12-01 2023-01-06 武汉楚精灵医疗科技有限公司 肠体病灶深度数据获取方法、装置、电子设备及存储介质
CN115578437B (zh) * 2022-12-01 2023-03-14 武汉楚精灵医疗科技有限公司 肠体病灶深度数据获取方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN107811710B (zh) 手术辅助定位系统
CN111529063B (zh) 基于三维重建的多模态融合的手术导航系统及方法
Wang et al. Augmented reality navigation with automatic marker-free image registration using 3-D image overlay for dental surgery
Wolf et al. 3D tracking of laparoscopic instruments using statistical and geometric modeling
WO2017088816A1 (zh) 一种基于dti的颅内神经纤维束的三维重建方法
WO2017211087A1 (zh) 一种内窥镜手术导航方法和系统
CN108784831A (zh) 一种基于三维影像的穿刺参数生成方法
Lee et al. From medical images to minimally invasive intervention: Computer assistance for robotic surgery
CN113940755A (zh) 一种术像一体的外科手术规划与导航方法
CN114145846A (zh) 基于增强现实辅助的手术导航方法及系统
Fischer et al. Evaluation of different visualization techniques for perception-based alignment in medical ar
Guo et al. Virtual reality simulators based on a novel robotic catheter operating system for training in minimally invasive surgery
Eom et al. NeuroLens: Augmented reality-based contextual guidance through surgical tool tracking in neurosurgery
CN104112384A (zh) 一种神经外科虚拟手术训练系统
Chui et al. Haptics in computer-mediated simulation: Training in vertebroplasty surgery
CN112528529A (zh) 一种腹腔镜裸眼模拟现实方法
CN111916183A (zh) 动态心血管系统的建模方法、装置、设备及存储介质
JP2008292534A (ja) 手術切断運動模擬方法とその装置及び模擬手術接触判定方法とその装置並びに手術切断運動模擬用のデータベース構造
Deguchi et al. 3d fundus shape reconstruction and display from stereo fundus images
CN116531094A (zh) 一种角膜移植手术机器人视触觉融合导航方法及系统
CA2691863A1 (en) A system for simulating a manual interventional operation
CN110478042A (zh) 一种基于人工智能技术的介入手术导航装置
Strydom et al. Robotic arthroscopy: The uncertainty in internal knee joint measurement
Zhang et al. A tumour perception system based on a multi-layer mass-spring model
CN113893033B (zh) 一种肺部经皮穿刺导航方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240326

Address after: Room 812, Building 2, No. 21 Intercity Road, High tech Zone, Suzhou City, Jiangsu Province, 215000

Applicant after: Suzhou Zhitu Technology Co.,Ltd.

Country or region after: China

Address before: Room 1013, 10 / F, HD media building, 28 Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province 215001

Applicant before: Suzhou priisen Information Technology Co.,Ltd.

Country or region before: China