CN115105204A - 一种腹腔镜增强现实融合显示方法 - Google Patents

Abstract

一种腹腔镜增强现实融合显示方法，涉及医疗应用领域，包括：步骤1：在人体表面增加5个标记点并利用三维重建软件以构建分别与皮肤、肝脏、血管、病灶、骨骼所对应的三维模型；步骤2：将所构建的与皮肤、肝脏、血管、病灶、骨骼所对应的三维模型传送给增强现实眼镜中；步骤3：医生佩戴增强现实眼镜后，将视野对准手术床上的病人体表，保证病人整体位于眼镜的视野中，并识别出病人体表上设置的5个标记点；步骤4：通过视野中的三维模型与病人体表的融合配准并进行增强现实显示以使得医生至少能够透视地看到人体内部的脏器、血管、及病灶。

Description

一种腹腔镜增强现实融合显示方法

技术领域

本发明涉及医疗应用领域，具体而言，涉及一种腹腔镜增强现实融合显示方法。

背景技术

胸腹腔复杂肿瘤治疗仍然是外科手术的难题，而腔镜手术作为一种微创手术，具有创伤小、患者术后疼痛较轻、恢复快等优点，逐渐成为外科手术的主流。在手术前，利用三维重建软件可以从二维CT、MR影像中分割出脏器、血管、病灶的区域，并进行三维重建，可以在三维直观立体地展示血管、病灶之间的位置关系，辅助医生进行术前手术规划。因此三维手术规划系统为外科医生提供了精准的三维地图，但是术中时，病人由于体位变化、气腹等操作，导致实际人体与术前CT时的体位不同。术中的脏器由于病人体位变化，会发生形变，尤其是柔性脏器。因此在术中精准定位肿瘤位置及其与血管位置关系，提供精准的术中导航系统是外科医生非常迫切的需求。

目前医生只能通过大脑想象，将内窥镜视野中的脏器、血管、病灶等于三维重建出的三维模型进行对应。增强现实技术在腹腔镜手术中得到应用，通过在胸腔穿刺前用于定位穿刺位置，角度，通过体标标记点定位实现模型配准。但是转入腔镜视频后，由于缺乏标记点，手术过程需要专业技术人员进行手动配准。

目前腔镜手术存在较大的缺陷：

1)腔镜视野局限，只能看到脏器的局部。

2)内窥镜图像中只能看到脏器表面，无法透过表面看到内部的各种血管、病灶；

3)缺乏力学反馈信息，无法像开腹手术一样，用手触摸感知脏器内部的肿瘤；

术前重建的三维模型与术中人体不在同一坐标系，因此需要将两者进行配准，统一到同一坐标系下。目前大部分的配准仍是基于人体交互的刚性配准方法，自动配准技术尚未成熟，并且还没有进行商用。

发明内容

本发明的目的在于提供一种腹腔镜增强现实融合显示方法，以至少解决以上问题之一。

本发明的实施例是这样实现的：本发明实施例的一方面，提供一种腹腔镜增强现实融合显示方法，将术前重建的三维模型与实际病人体表配准，融合增强现实，进行腹腔镜增强现实导航，该腹腔镜增强现实融合显示方法包括如下步骤：

步骤1：在人体表面增加5个标记点并利用三维重建软件以构建分别与皮肤、肝脏、血管、病灶、骨骼所对应的三维模型；

步骤2：将所构建的与皮肤、肝脏、血管、病灶、骨骼所对应的三维模型传送给增强现实眼镜中；

步骤3：医生佩戴所述增强现实眼镜后，将视野对准手术床上的病人体表，保证病人整体位于眼镜的视野中，并识别出病人体表上设置的5个标记点；

步骤4：通过视野中的三维模型与病人体表的融合配准并进行增强现实显示以使得所述医生至少能够透视地看到人体内部的脏器、血管、及病灶。

可选地，还包括：将所述增强现实眼镜与显示模块连接，以将所述增强现实眼镜中看到的图像显示于所述显示模块上。

可选地，所述显示模块包括具有显示屏的计算机。

可选地，所述步骤1的实施是在手术前CT拍摄时执行的。

可选地，所述步骤2中，是利用目标检测算法，识别出所述增强现实眼镜中三维模型上五个标记点位置。

可选地，所述增强现实眼镜包括Hololens眼镜。

可选地，所述步骤3中，具体是利用所述增强现实眼镜中分别获取得到的三维模型上五个标记点的坐标以及病人体表上对应的五个标记点的坐标，分别进行去减去对应中心坐标，然后求取协方差矩阵，并进行奇异值分解，利用左右特征值向量的乘积得到旋转矩阵R，平移向量为t＝R*o’–o,其中o’表示三维模型上的五个标记点的中心，o为病人体表上对应标记点的中心。

可选地，还包括：将所述增强现实眼镜与手术室中吊臂上的监视器连接，以将所述增强现实眼镜中看到的图像显示于所述监视器上。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例体模CT重建出三维模型的示意参考图；

图2为本发明实施例将三维模型导入Hololens眼镜，在 Hololens眼镜的视野中，皮肤三维模型与体模配准融合，增强现实显示的示意参考图；

图3为本发明实施例体模内部脏器、血管、病灶透视增强现实显示效果示意参考图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在理解本申请首先应该了解一些当前现有技术概念，具体如下：

增强现实(Augmented Reality，简称AR)，增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器溶合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。

三维重建的英文术语名称是3D Reconstruction.三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。

目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。

随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。

CT(Computed Tomography)，即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查；根据所采用的射线不同可分为：X射线CT(X-CT)、超声CT(UCT) 以及γ射线CT(γ-CT)等。

以下请结合参照图1至图3，本申请将病人术前重建的三维模型导入到Hololens眼镜中，并获取三维模型上的五个标记点在Hololens眼镜中的位置，同时获取Hololens眼镜中病人体表上对应五个标记点的坐标，利用五个对应标记点，可以求得两者之间的旋转平移矩阵。从而将Hololens眼镜中术前重建的三维模型与术中病人体表统一到Hololens眼镜的坐标系下，达到粗配准的效果。在粗匹配的效果之上，提取出病人体表的表点云数据。与从CT影像中重建出的上皮肤表面点云。利用ICP算法，进行精细配准。从而实现Holoens眼镜中的三维模型与病人体表融合显示，透视显示出脏器内部的各种血管及病灶位置，辅助医生在内窥镜影像中定位肝脏内部肿瘤位置。本实施例提供的腹腔镜增强现实融合显示方法，具体包括如下步骤：

1.术前CT拍摄时，在人体表面增加5个标记点(标记点能够从CT影像中明显看出)；利用三维重建软件，从CT影像中分割出皮肤、肝脏、血管、病灶、骨骼等组织的对应区域，并进行三维重建，得到皮肤、肝脏、血管、病灶、骨骼对应的三维模型。

2.将术前重建的三维模型导入到Hololens眼镜中，进行增强现实显示。利用目标检测算法，识别出Hololens眼镜中三维模型上五个标记点位置。

3.将Hololens的视野对准手术床上的病人体表,保证病人整体位于眼镜的视野中。利用另一种目标检测算法识别出病人体表上设置的五个标记点(这和术前拍摄CT时设置的标记点一致)。

4.利用Hololens眼镜中分别获取得到的三维模型上五个标记点的坐标以及病人体表上对应的五个标记点的坐标，分别进行去减去对应中心坐标，然后求取协方差矩阵，并进行奇异值分解。利用左右特征值向量的乘积得到旋转矩阵R，平移向量为 t＝O-R*O’,其中O’表示三维模型上的五个标记点的中心，O 为病人体表上对应标记点的中心。

5.将旋转平移矩阵作用在Hololens眼镜中的三维模型上，从而实现视野中的三维模型与病人体表的融合配准，增强现实显示。同时可以看到人体内部的脏器、血管、及病灶。

将术前重建的三维模型导入到Hololens眼镜中，同时在视野中显示病人，通过识别体表对应的标记点，求取两组标记点之间的旋转平移矩阵，从而将三维模型与病人体表配准。医生戴着Hololens眼镜，在视野中，病人术前重建的三维模型与病人配准融合，并进行透视显示，从而医生可以透过脏器表面，看到内部不可见的病灶、血管，从而辅助定位肿瘤位置，以及提示出血管、肿瘤的位置关系。

在本案中，只需要一台Holoens眼镜和融合显示的软件，无需引入其它相关导航设备。术者只需要头戴一台Hololens眼镜，将术前重建的三维模型导入到眼镜中，三维模型自动与病人体表进行配准，并进行增强现实融合显示。本方案中的算法，依赖设备少，操作流程更为简洁，没有给手术过程增加额外的流程。同时可以将眼镜中看到的实时图像，输出到计算机屏幕上进行显示。还可以将Hololens眼镜与计算机连接，将眼镜中看到的图像输出到计算机屏幕上，同时展现在手术室中吊臂上的监视器上，方便术中观看。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种腹腔镜增强现实融合显示方法，其特征在于，包括如下步骤：

步骤1：在人体表面增加5个标记点并利用三维重建软件以构建分别与皮肤、肝脏、血管、病灶、骨骼所对应的三维模型；

步骤2：将所构建的与皮肤、肝脏、血管、病灶、骨骼所对应的三维模型传送给增强现实眼镜中；

步骤3：医生佩戴所述增强现实眼镜后，将视野对准手术床上的病人体表，保证病人整体位于眼镜的视野中，并识别出病人体表上设置的5个标记点；

步骤4：通过视野中的三维模型与病人体表的融合配准并进行增强现实显示以使得所述医生至少能够透视地看到人体内部的脏器、血管、及病灶。

2.根据权利要求1所述的腹腔镜增强现实融合显示方法，其特征在于，还包括：将所述增强现实眼镜与显示模块连接，以将所述增强现实眼镜中看到的图像显示于所述显示模块上。

3.根据权利要求2所述的腹腔镜增强现实融合显示方法，其特征在于，所述显示模块包括具有显示屏的计算机。

4.根据权利要求1所述的腹腔镜增强现实融合显示方法，其特征在于，所述步骤1的实施是在手术前CT拍摄时执行的。

5.根据权利要求1所述的腹腔镜增强现实融合显示方法，其特征在于，所述步骤2中，是利用目标检测算法，识别出所述增强现实眼镜中三维模型上五个标记点位置。

6.根据权利要求1所述的腹腔镜增强现实融合显示方法，其特征在于，所述增强现实眼镜包括Hololens眼镜。

7.根据权利要求1所述的腹腔镜增强现实融合显示方法，其特征在于，所述步骤3中，具体是利用所述增强现实眼镜中分别获取得到的三维模型上五个标记点的坐标以及病人体表上对应的五个标记点的坐标，分别进行去减去对应中心坐标，然后求取协方差矩阵，并进行奇异值分解，利用左右特征值向量的乘积得到旋转矩阵R，平移向量为t＝R*o’–o,其中o’表示三维模型上的五个标记点的中心，o为病人体表上对应标记点的中心。

8.根据权利要求6所述的腹腔镜增强现实融合显示方法，其特征在于，还包括：将所述增强现实眼镜与手术室中吊臂上的监视器连接，以将所述增强现实眼镜中看到的图像显示于所述监视器上。

Images