CN109223121A - 基于医学影像模型重建、定位的脑出血穿刺手术导航系统 - Google Patents

Abstract

本发明实施例公开了一种基于医学影像模型重建、定位的脑出血穿刺手术导航系统，包括主机、AR设备以及裸眼3D显示设备，主机接收患者脑出血医学CT/MRI数据，通过对多组患者脑出血医学CT/MRI数据进行模型重建、模型对接处理，得到患者头颅及血肿部位的三维虚拟模型，并将三维虚拟模型在裸眼3D显示设备上进行互动显示；主机还根据三维虚拟模型和角度深度信息模拟出操作导航定位与连线以导入AR设备中；AR设备用于特征点检测、虚拟血肿和真实血肿间的空间配准、真实导管实时跟踪、虚拟血肿和虚拟导管的全息显示、与医生进行语音交互和体感交互。实施本发明实施例可以降低医学成本，提供人机交互功能。

Description

基于医学影像模型重建、定位的脑出血穿刺手术导航系统

技术领域

本发明涉及手术导航技术领域，具体涉及一种基于医学影像模型重建、定位的脑出血穿刺手术导航系统。

背景技术

脑出血发病凶险，病情变化快，近半数死亡发生在急性期，特别是发病48小时内，患者需要就近医院施救。然而，我国大部分基层医院设备和技术条件相对有限，手术救治水平不高，在临床工作中经常出现脑出血微创穿刺手术置管位置偏移，手术效果不佳，甚至加重患者死亡风险。因此，急需进一步深入研究，研发出一种提高脑出血微创穿刺手术准确性、降低手术难度的设备系统。

目前，脑出血微创手术治疗主要有两种方式，一种是采用神经导航系统，将术前患者CT、MRI等影像资料导入系统，制定术前计划，避开重要功能区，选择最佳手术穿刺路径，并能实时动态跟踪指示靶点；另一种为基于App辅助导航穿刺引流，Sina或Slicer是神经外科协助Android或iPhone移动设备应用程序(App)，它们将病人术前进行的CT或磁共振成像图像和手机相机获取图像重叠，用于引导术中穿刺定位。

但神经导航系统术前准备时间长，不适合危急重症患者，且其高昂的价格以及较长的技术培训周期也使得我国大部分中小医院无力承担。而基于App的辅助导航方式不能以全息方式显示病灶部位及周边环境信息，其所采用的图像信息均为二维化信息，不能提供明确空间定位、信息反馈等人机交互内容，在一定程度上限制了其辅助能力，进而影响手术精度。

发明内容

本发明实施例的目的在于提供一种基于医学影像模型重建、定位的脑出血穿刺手术导航系统，以降低成本，并提供人机交互功能。

为实现上述目的，本发明实施例提供了一种基于医学影像模型重建、定位的脑出血穿刺手术导航系统，包括主机、AR设备以及裸眼3D显示设备；

所述主机用于接收外部医疗设备所传送的患者脑出血医学CT/MRI数据，通过对多组患者脑出血医学CT/MRI数据进行模型重建、模型对接处理，得到患者头颅及血肿部位的三维虚拟模型，并将所述三维虚拟模型在所述裸眼3D显示设备上进行互动显示；所述主机内存储有患者进行生物标定标记后的头部特征点；

所述主机还用于获取所述三维虚拟模型和手术规划的导管模拟插入的角度深度信息，根据所述三维虚拟模型和角度深度信息模拟出操作导航定位与连线以导入所述AR设备中；

所述AR设备用于特征点检测、虚拟血肿和真实血肿间的空间配准、真实导管实时跟踪、虚拟血肿和虚拟导管的全息显示、与医生进行语音交互和体感交互，所述AR设备还用于将所述AR设备内的信息通过无线方式发送至主机，由主机连线所述裸眼3D显示设备进行显示；

其中，特征点检测指的是通过AR设备内集成的摄像头和图像识别软件对进行生物标定标记后的头部特征点进行检测；虚拟血肿和真实血肿间的空间配准指的是通过坐标转换将虚拟头颅的标记特征点映射至真实头颅的标记特征点；真实导管实时跟踪指的是根据虚拟导管的定位对真实导管进行实时跟踪；虚拟血肿和虚拟导管的全息显示指的是通过AR设备内集成的光学显示部件对虚拟血肿和虚拟导管进行三维显示；与医生进行语音交互和体感交互指的是裸眼3D显示设备接收医生的语音命令和体感命令，根据所述语音命令或体感命令实现对虚拟血肿或头颅的放大、缩小、左转或右转。

作为本申请一种优选的实施方式，所述头部特征点包括两个内眦点以及一个病灶侧耳上基点。

作为本申请一种优选的实施方式，所述头部特征点构成一个扫描基面，外部医疗设备以所述扫描基面以下5毫米对患者头部进行扫描，以得到多组患者脑出血医学CT/MRI数据。

作为本申请一种优选的实施方式，所述主机用于通过对多组患者脑出血医学CT/MRI数据进行处理，实现多层组织三维图像重建、与多层模型复合拼接、头颅多层组织复合模型按比例匹配重建，得到三维虚拟模型。

作为本申请一种优选的实施方式，所述虚拟三维模型包括血肿模型，所述裸眼3D显示设备包括裸眼3D显示副屏；将所述三维虚拟模型在所述裸眼3D显示设备上进行互动显示，具体包括：

通过3D引擎对所述三维虚拟模型进行血肿模型中心点与指定颅骨外侧定点的坐标定位、路线规划操作及建模，达到术前对手术模拟的作用；

通过3D引擎实现手术模拟，以裸眼3D副屏展现手术模拟的立体显示，以鼠标指引，选择性地对显示于裸眼3D副屏的模型的局部结构采取分层分片，实现透明、半透明、放大或缩小的裸眼3D人机互动显示。

作为本申请一种优选的实施方式，所述裸眼3D显示副屏为4K裸眼3D显示屏。

裸眼3D副屏对术前导入的模型的裸眼立体显示，提供了明确空间定位、信息反馈等人机交互内容，提高了手术精度；本发明实施例可以通过语音控制或体感交互,鼠标控制功能，方便医生在手术过程中对虚拟血肿进行放大、缩小、旋转等操作，实现了虚拟血肿的形态变换，在方便医生进行更细致观察血肿的同时不妨碍手术操作，有效地辅助医生进行脑出血微创定向穿刺手术。

作为本申请一种优选的实施方式，真实导管实时跟踪包括通过AR设备的摄像头及图像识别软件检测真实导管进入的深度和角度，对虚拟导管相应的深度和角度调整，达到虚拟导管跟虚拟血肿的相对位置与真实导管跟真实血肿的相对位置保持一致。

作为本申请一种优选的实施方式，所述AR设备为AR眼镜。

实施本发明实施例的基于医学影像模型重建、定位的脑出血穿刺手术导航系统，具有以下有益效果：

(1)本发明实施例采用基于AR(增强现实)技术的方法实现脑出血微创穿刺手术导航，具有成本低、医生上手快的优点；

(2)本发明实施例采用脑出血病灶与指定定位颅骨连线，实现导航显示；并在术前规划中根据虚拟导管模型比对实际操作导管影像的重叠显示，检验比对真实导管状态，更利于医生实时调整手术操作；

(3)本发明实施例通过连线方式实现AR眼镜内信息显示，主机连接另外的裸眼3D显示副屏，既不影响进行手术的医生，同时可以为其他医护人员提供立体生动的观摩、学习、甚至监督的渠道；

(4)本发明实施例通过3D引擎以及裸眼3D显示设备进行手术模拟与宣讲，有助于术前医患沟通。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1是本发明第一实施例提供的基于医学影像模型重建、定位的脑出血穿刺手术导航系统的结构示意图；

图2是手术导航系统的作业说明示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，是本发明第一实施例所提供的基于医学影像模型重建、定位的脑出血穿刺手术导航系统的结构示意图。如图所示，该导航系统包括主机100、AR设备200以及裸眼3D显示设备。本实施例中，AR设备为AR眼镜；裸眼3D显示设备300包括裸眼3D显示副屏，裸眼3D显示副屏为4K裸眼3D显示屏。

其中，术前，主机100用于接收外部医疗设备所传送的患者脑出血医学CT/MRI数据，通过对多组患者脑出血医学CT/MRI数据进行模型重建、模型对接处理，得到患者头颅及血肿部位的三维虚拟模型，并将所述三维虚拟模型在裸眼3D显示设备300上进行互动显示；主机100内存储有患者进行生物标定标记后的头部特征点，该头部特征点优选为两个内眦点以及一个病灶侧耳上基点。

具体地，主机100执行上述功能所涉及的具体过程主要包括：

(1)医学影像资料的获取：在进行手术前，医生首先对患者头部进行生物标定标记(包括2个内眦点和1个病灶侧耳上基点)定位作为扫描基面，外部医疗设备以此扫描基面以下5毫米开始对患者头部进行医学影像扫描、根据需求进行增强扫描，从而可以得到患者医学影像数据，该患者医学影响数据包括患者脑出血医学CT/MRI数据。

(2)数据整理：将患者脑出血医学CT/MRI数据导入主机100内，主机100内集成有图像处理单元，该图像处理单元通过对多组患者脑出血医学CT/MRI数据进行模型重建、模型对接处理，实现多层组织三维图像重建、与多层模型复合拼接，实现头颅多层组织复合模型按比例匹配重建，得到三维虚拟模型。

(3)手术规划以及医患沟通：上述三维虚拟模型包括血肿模型，裸眼3D显示设备300包括裸眼3D显示副屏。在该步骤中，通过3D引擎对三维虚拟模型进行血肿模型中心点与指定颅骨外侧定点的坐标定位与路线规划操作并建模，达到术前对手术模拟的作用；通过3D引擎实现手术模拟，以裸眼3D副屏展现手术模拟的立体显示，以鼠标指引，选择性对局部结构采取分层分片，实现透明或半透明，放大缩小等裸眼3D人机互动显示；采用上述操作，可以让患者家属对病情和术前方案的了解变得方便、简单、生动、立体；简化了术前宣讲、提高医生宣讲质量，促进医患沟通。

进一步地，主机100还用于获取三维虚拟模型和手术规划的导管模拟插入的角度深度信息，根据三维虚拟模型和角度深度信息模拟出操作导航定位与连线以导入AR设备200中。具体地，手术前，可将前期获得的头颅及血肿部位的三维虚拟模型以及手术规划的导管(该导管具有指定标准规格，可以以此建立标准模型)模拟插入的角度深度信息输入主机100中，主机100根据三维虚拟模型和角度深度信息模拟出操作导航定位与连线以导入AR设备200中。

进一步地，AR设备200用于特征点检测、虚拟血肿和真实血肿间的空间配准、真实导管实时跟踪、虚拟血肿和虚拟导管的全息显示、与医生进行语音交互和体感交互、将AR设备200内的信息通过无线方式发送至主机100，主机100连线裸眼3D显示设备300进行显示；

其中，特征点检测指的是通过AR设备内集成的摄像头和图像识别软件对进行生物标定标记后的头部特征点进行检测；虚拟血肿和真实血肿间的空间配准指的是通过坐标转换将虚拟头颅的标记特征点映射至真实头颅的标记特征点；真实导管实时跟踪指的是根据虚拟导管的定位对真实导管进行实时跟踪；虚拟血肿和虚拟导管的全息显示指的是通过AR设备内集成的光学显示部件对虚拟血肿和虚拟导管进行三维显示；与医生进行语音交互和体感交互指的是裸眼3D显示设备接收医生的语音命令和体感命令，根据所述语音命令或体感命令实现对虚拟血肿或头颅的放大、缩小、左转或右转。

具体地，手术前，医生戴上AR设备200(如AR眼镜)后，通过AR眼镜内集成的摄像头和图像识别软件可对前期患者头部标记的特征点进行对位检测，并通过系统坐标转换，通过AR眼镜在患者现实图像上实现虚拟血肿和虚拟导管的虚实融合显示。即通过AR眼镜实现患者特征点对位检测，通过系统软件内的坐标转换实现三维虚拟血肿的全息显示。进一步地，使得虚拟血肿和真实血肿在空间内完全对准、重叠并覆盖、锁定，最后进行比对显示，达到医生对患者头颅增强显示透视效果。

进一步地，手术过程中，AR眼镜通过图像识别检测确定导管插入位置，(导管是否有标准规范的实用新型开发)(导管上有刻度)进入颅内的深度和角度，系统在虚拟三维血肿处生成与真实导管相一致的虚拟导管，虚拟导管跟虚拟血肿的相对位置与真实导管跟真实血肿的相对位置保持一致，通过对虚拟导管与虚拟血肿之间的相对位置观察，医生实时调整操作，保证真实导管进入颅内的深度和角度与手术规划一致。

进一步地，手术过程中，为了更细致地观察虚拟血肿，医生术中对照术前导入了虚拟血肿模型的(副屏)裸眼3D设备，可以通过手势或语音实现“放大”、“缩小”、“左转”、“右转”等特定动作，体感引导或语音引导实现虚拟血肿按单次一定量程度(如0.2倍，10°等)的放大、缩小、左转、右转。且，为方便主刀医生外的其他医生进行现场观摩与学习，本实施例的导航系统可通过无线显示(Miracast)的方式将AR眼镜内的信息传回主机，由主机连线传输到屏幕显示器上。同时也可显示在手术裸眼3D副屏上、以方便其他医护人员协助或观摩手术。

需要说明的是，为更好地理解本发明实施例的手术导航系统，现做如下说明：

在采用本发明实施例所提供的手术导航系统进行手术时，主要包括两部分，如图2所示，一部分是术前信息收集整理与模拟，另一部分是术中信息展示与交互。其中，信息收集整理与模拟主要包括术前3点(2个内眦点，1个病灶侧耳上基点)生物标记、获取CT/MRI等医学影像、多模态医学影像融合以实现三维重建、裸眼3D屏幕显示、主机接收比对显示；信息显示与交互主要包括三标记点检测、人头追踪定位、虚拟血肿和虚拟导管的虚实比对、体感/语音交互、虚拟导管实时跟踪、AR显示。需要说明的是，两部分的对应关系请参考图2以及前述描述，在此不再赘述。

实施本发明实施例的基于医学影像模型重建、定位的脑出血穿刺手术导航系统，具有以下有益效果：

(1)本发明实施例采用基于AR(增强现实)技术的方法实现脑出血微创穿刺手术导航，具有成本低、医生上手快的优点；

(2)本发明实施例采用脑出血病灶与指定定位颅骨连线，实现导航显示；并在术前规划中根据虚拟导管模型比对实际操作导管影像的重叠显示，检验比对真实导管状态，更利于医生实时调整手术操作；

(3)裸眼3D副屏对术前导入的模型的裸眼立体显示，提供了明确空间定位、信息反馈等人机交互内容，提高了手术精度；具体地，本发明实施例通过语音控制或体感交互功能，方便医生在手术过程中对虚拟血肿进行放大、缩小、旋转等操作，实现了虚拟血肿的形态变换，在方便医生进行更细致观察血肿的同时不妨碍手术操作，有效地辅助医生进行脑出血微创定向穿刺手术；

(4)本发明实施例通过连线方式实现AR眼镜内信息显示，主机连接另外的裸眼3D显示副屏，既不影响进行手术的医生，同时可以为其他医护人员提供立体生动的观摩、学习、甚至监督的渠道；

(5)本发明实施例通过3D引擎以及裸眼3D显示设备进行手术模拟与宣讲，有助于术前医患沟通。

综上，本发明实施例所提供的手术导航系统，基于特征点匹配，快速实现了患者脑出血医学影像数据模型重建、对脑出血病灶3D空间定位、术前规划及裸眼3D显示，并以重建的虚拟3D血肿模型导入AR设备，主治医生以AR影像对应患者头颅实施3点定位，通过AR设备显示其血肿虚拟3D模型的增强现实功能，与患者颅内真实血肿精准匹配、定位，实体与血肿虚拟模型影像重叠显示。同时，系统中融入裸眼3D显示有助于医生在诊断分析和识别病灶与手术增强空间感，生动立体的显示有助于简化医患沟通；再者，通过加入语音控制或体感交互功能，方便医生在手术过程中对虚拟血肿进行放大、缩小、旋转等操作，有效地辅助医生进行脑出血微创定向穿刺手术。此外，系统中加入虚拟手术导管插入模型重叠显示，方便医生实时根据手术规划模型确保真实导管进入的深度和角度的操作准确性。且，系统中包含单独的裸眼3D副屏，用于实时显示手术过程中裸眼3D显示，方便主刀医生外的其他医生察看。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于医学影像模型重建、定位的脑出血穿刺手术导航系统，其特征在于，包括主机、AR设备以及裸眼3D显示设备；

所述主机用于接收外部医疗设备所传送的患者脑出血医学CT/MRI数据，通过对多组患者脑出血医学CT/MRI数据进行模型重建、模型对接处理，得到患者头颅及血肿部位的三维虚拟模型，并将所述三维虚拟模型在所述裸眼3D显示设备上进行互动显示；所述主机内存储有患者进行生物标定标记后的头部特征点；

所述主机还用于获取所述三维虚拟模型和手术规划的导管模拟插入的角度深度信息，根据所述三维虚拟模型和角度深度信息模拟出操作导航定位与连线以导入所述AR设备中；

所述AR设备用于特征点检测、虚拟血肿和真实血肿间的空间配准、真实导管实时跟踪、虚拟血肿和虚拟导管的全息显示、与医生进行语音交互和体感交互，所述AR设备还用于将所述AR设备内的信息通过无线方式发送至主机，由所述主机连线所述裸眼3D显示设备进行显示；

其中，特征点检测指的是通过AR设备内集成的摄像头和图像识别软件对进行生物标定标记后的头部特征点进行检测；虚拟血肿和真实血肿间的空间配准指的是通过坐标转换将虚拟头颅的标记特征点映射至真实头颅的标记特征点；真实导管实时跟踪指的是根据虚拟导管的定位对真实导管进行实时跟踪；虚拟血肿和虚拟导管的全息显示指的是通过AR设备内集成的光学显示部件对虚拟血肿和虚拟导管进行三维显示；与医生进行语音交互和体感交互指的是裸眼3D显示设备接收医生的语音命令和体感命令，根据所述语音命令或体感命令实现对虚拟血肿或头颅的放大、缩小、左转或右转。

2.如权利要求1所述的导航系统，其特征在于，所述头部特征点包括两个内眦点以及一个病灶侧耳上基点。

3.如权利要求2所述的导航系统，其特征在于，所述头部特征点构成一个扫描基面，外部医疗设备以所述扫描基面以下5毫米对患者头部进行扫描，以得到多组患者脑出血医学CT/MRI数据。

4.如权利要求3所述的导航系统，其特征在于，所述主机用于通过对多组患者脑出血医学CT/MRI数据进行处理，实现多层组织三维图像重建、与多层模型复合拼接、头颅多层组织复合模型按比例匹配重建，得到三维虚拟模型。

5.如权利要求1-4任一项所述的导航系统，其特征在于，所述虚拟三维模型包括血肿模型，所述裸眼3D显示设备包括裸眼3D显示副屏；将所述三维虚拟模型在所述裸眼3D显示设备上进行互动显示，具体包括：

通过3D引擎对所述三维虚拟模型进行血肿模型中心点与指定颅骨外侧定点的坐标定位、路线规划操作及建模，达到术前对手术模拟的作用；

通过3D引擎实现手术模拟，以裸眼3D副屏展现手术模拟的立体显示，以鼠标指引，选择性地对显示于裸眼3D副屏的模型的局部结构采取分层分片，实现透明、半透明、放大或缩小的裸眼3D人机互动显示。

6.如权利要求5所述的导航系统，其特征在于，所述裸眼3D显示副屏为4K裸眼3D显示屏。

7.如权利要求1所述的导航系统，其特征在于，真实导管实时跟踪包括通过AR设备的摄像头及图像识别软件检测真实导管进入的深度和角度，对虚拟导管相应的深度和角度调整，达到虚拟导管跟虚拟血肿的相对位置与真实导管跟真实血肿的相对位置保持一致。

8.如权利要求1所述的导航系统，其特征在于，所述AR设备为AR眼镜。