CN113133814A - 基于增强现实的穿刺手术导航装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了基于增强现实的穿刺手术导航装置、方法及计算机可读存储介质，该装置包括：医学影像获取模块，用于获得所述患者的解剖结构模型；现场图像获取模块，用于获取手术现场的现场图像；位置配准模块，用于将所述解剖结构模型与手术现场的所述患者的相应解剖结构进行位置配准；器械识别模块，用于识别操作者手中穿刺器械的位置与针尖朝向；路径计算模块，用于计算获得穿刺手术的路径信息；显示模块，用于以增强现实方式将提示信息显示于手术现场场景的相应位置。本发明不用操作者观看二维屏幕，而是通过增强现实头戴式设备使操作者直视解剖结构模型以及器械的真实延伸方向，通过调整自己的观察角度及器械朝向，就可找到最佳手术路径。

Description

基于增强现实的穿刺手术导航装置及计算机可读存储介质

技术领域

本发明涉及医疗器械技术领域，特别涉及一种基于增强现实的穿刺手术导航装置、方法及计算机可读存储介质。

背景技术

传统穿刺导航系统制定手术计划时，一般是在平面显示器上，通过对影像采集的2D图像或者经过软件重建的三维模型，进行手术计划的制定。从而在手术的制定过程中需要在二维，三维模式中反复切换，不仅很难掌握，同时受平面显示器限制，很难实现在三维方向上移动穿刺针，确认穿刺方向。

发明内容

为了解决上述技术问题中的至少一个，本发明公开提供了一种基于增强现实的穿刺手术导航装置、方法及计算机可读存储介质。

第一方面，本发明提供了一种基于增强现实的穿刺手术导航装置，该装置包括：医学影像获取模块、现场图像获取模块、位置配准模块、器械识别模块、路径计算模块和显示模块，其中，

所述医学影像获取模块，用于获取患者的术前医学影像，并根据所述术前医学影像获得所述患者的解剖结构模型；

所述现场图像获取模块，用于获取手术现场的现场图像，所述现场图像由操作者佩戴的头戴式设备拍摄得到；

所述位置配准模块，用于根据所述患者的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场的所述患者的相应解剖结构进行位置配准；

所述器械识别模块，用于根据所述现场图像识别操作者手中穿刺器械的位置与针尖朝向；

所述路径计算模块，用于根据所述穿刺器械的位置与针尖朝向、所述患者的解剖结构模型以及所述患者的解剖结构模型中的穿刺目标，计算获得穿刺手术的路径信息；

所述显示模块，用于根据所述路径计算单元计算得到的所述路径信息生成提示信息，并通过所述头戴式设备以增强现实方式将所述提示信息叠加显示于手术现场场景的相应位置。

可选地，所述路径计算模块具体用于根据所述穿刺器械的位置与针尖朝向计算得到所述穿刺器械的针体延长线；所述显示模块用于将所述针体延长线叠加显示于所述穿刺器械的针尖远端位置。

可选地，所述针体延长线的显示长度为当前针尖位置到达所述穿刺目标的长度。

可选地，所述显示模块还用于，显示用于引导所述操作者调整至最佳观察角度的提示信息。

可选地，所述路径计算模块包括第一判断单元和第二判断单元：

所述第一判断单元用于判断所述穿刺器械是否对准所述穿刺目标；

所述第二判断单元用于判断所述穿刺器械的针尖到所述穿刺目标的直线是否避开特定解剖结构；

所述显示模块根据所述第一判断单元和/或第二判断单元的判断结果，显示第一提示信息和/或第二提示信息。

可选地，所述第一判断单元具体用于判断所述穿刺器械的针体延长线是否与穿刺目标存在交点。

可选地，所述穿刺目标是人体胸腹部的病变位置，例如肺结节；

所述第二判断单元具体用于判断所述穿刺器械的针尖到所述穿刺目标的直线是否避开肋骨、血管或气管。

可选地，所述路径计算模块还包括第三判断单元，所述第三判断单元用于计算沿穿刺路径方向上所述穿刺目标与其所属解剖结构的边缘的距离，并判断是否大于安全距离；

所述显示模块根据所述第三判断单元的判断结果，显示第三提示信息。

可选地，若所述第一判断单元、所述第二判断单元和所述第三判断单元的判断结果均为是，所述显示模块显示用于表征确认当前路径可行的提示信息。

可选地，该装置还包括计划制定模块，用于根据所述患者的术前医学影像以及所述穿刺目标确定预设穿刺路径；

所述路径计算模块包括第四判断单元，用于根据所述穿刺器械的位置与针尖朝向判断所述穿刺器械的针体延长线是否处于所述预设穿刺路径范围内；

所述显示模块根据所述第四判断单元的判断结果，显示第四提示信息。

可选地，所述计划制定模块包括交互单元，用于根据用户输入的指令确定所述预设穿刺路径。

可选地，所述路径计算模块还用于计算所述穿刺器械的针尖与所述穿刺目标之间的距离；

所述显示模块还用于显示所述穿刺器械的针尖与所述穿刺目标之间的距离。

第二方面，本发明提供了一种基于增强现实的穿刺手术导航方法，该方法包括：

获取患者的术前医学影像，并根据所述术前医学影像获得所述患者的解剖结构模型；

获取手术现场的现场图像，所述现场图像由操作者佩戴的头戴式设备拍摄得到；

根据所述患者的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场的所述患者的相应解剖结构进行位置配准；

根据所述现场图像识别操作者手中穿刺器械的位置与针尖朝向；

根据所述穿刺器械的位置与针尖朝向、所述患者的解剖结构模型以及所述患者的解剖结构模型中的穿刺目标，计算获得穿刺手术的路径信息；

根据所述路径计算单元计算得到的所述路径信息生成提示信息，并通过所述头戴式设备以增强现实方式将所述提示信息叠加显示于手术现场场景的相应位置。

第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现如本发明提供的所述基于增强现实的穿刺手术导航方法。

与现有技术相比，本发明至少存在以下有益效果：

本发明在手术过程中，不用操作者观看二维屏幕，通过想象或不断尝试去寻找手术路径，而是通过增强现实头戴式设备使操作者直视在相应位置的解剖结构模型以及器械的真实延伸方向，通过调整自己的观察角度及器械朝向，就可找到最佳手术路径。通过头戴式设备使操作者看到在相应位置的解剖结构模型(如肋骨、肺实质、血管等结构的三维模型)，同时还可以看到增强现实方式显示在相应位置的穿刺器械以及穿刺针延长线等。进一步地，可以实时的对当前手术状况进行计算，预测穿刺器械的穿刺路线，并计算穿刺路线的合理性，将合理性结果实时反馈给增强现实头戴式设备的佩戴者；实时给出导航信息，以文字或图案的方式提示穿刺针距离目标的距离，穿刺方向是否偏离，是否可能碰触到肋骨、血管等障碍器官等。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1-5是本发明不同实施例提供的基于增强现实的穿刺手术导航装置的框图；

图6是本发明实施例提供的一种现实场景示意图；

图7是本发明实施例提供的一种佩戴增强现实头戴式设备看到的画面。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于增强现实的穿刺手术导航装置，该装置包括：医学影像获取模块、现场图像获取模块、位置配准模块、器械识别模块、路径计算模块和显示模块，其中，

所述医学影像获取模块，用于获取患者的术前医学影像，并根据所述术前医学影像获得所述患者的解剖结构模型；

所述现场图像获取模块，用于获取手术现场的现场图像，所述现场图像由操作者佩戴的头戴式设备拍摄得到；

所述位置配准模块，用于根据所述患者的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场的所述患者的相应解剖结构进行位置配准；

所述器械识别模块，用于根据所述现场图像识别操作者手中穿刺器械的位置与针尖朝向；

所述路径计算模块，用于根据所述穿刺器械的位置与针尖朝向、所述患者的解剖结构模型以及所述患者的解剖结构模型中的穿刺目标，获得穿刺手术的路径信息；

所述显示模块，用于根据所述路径计算单元计算得到的所述路径信息生成提示信息，并通过所述头戴式设备以增强现实方式将所述提示信息与叠加显示于手术现场场景的相应位置叠加显示给用户。

增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实场景巧妙融合的技术。本发明实施例用到增强现实头戴式设备，通常设置有用于拍摄当前场景的摄像头，以及用于在真实场景的相应位置叠加显示虚拟信息的显示模块。

值得说明的是，解剖结构模型包括患者解剖结构的三维几何信息以及穿刺目标的位置信息，具体的可以包括患者的术前医学影像，如CT、磁共振等影像，也可以是根据术前医学影像进行后处理得到的三维几何模型或几何参数的集合。在不同的实施例中解剖结构模型还可以包括与穿刺目标相关的其他位置信息，如进针位置、需要避开的骨骼、血管、神经等解剖结构的位置等。穿刺目标则是在解剖结构模型的基础上根据病变位置经过手动或自动确定的三维区域，也就是穿刺手术过程中期望穿刺器械的针尖到达的目标位置。举例而言，针对肺结节的穿刺手术，肺结节所在处即为穿刺目标。

在该实施例中，可以根据解剖结构模型的穿刺目标、需要避开的骨骼、血管、神经等结构的位置，实时计算出进针路径信息，并且可以根据径信息生成提示信息，并以增强现实方式将提示信息与手术现场场景叠加显示给用户，从而可以使操作者快速而准确的完成手术过程。

值得说明的是，在一种实施例中，为了能够快速有效的对穿刺器械进行识别，可以在穿刺器械上设置标识特征，便于识别穿刺器械的类型和型号，根据类型和型号获得穿刺器械的几何信息，如穿刺针的尺寸和形状等；在另一些实施例中，可以直接识别穿刺器械本身的结构特征，据此穿刺器械的几何信息。

值得说明的是，路径计算模块可以根据穿刺器械的位置与针尖朝向实时计算出穿刺器械的针体延长线，针体延长线与针体处于同一条直线上，并且可以通过显示模块以增强现实方式显示在操作者的视野中，便于操作者掌握穿刺方向。针体延长线的显示长度不超过穿刺器械到达穿刺目标的距离。

值得说明的是，路径计算模块可以实时计算穿刺器械的针尖与穿刺目标之间的距离，并且可以通过显示模块显示穿刺器械的针尖与穿刺目标之间的距离，以增强现实方式显示给操作者，从而可以实时给操作者提示。

值得说明的是，在操作者进行手术的过程中下，可能会出现穿刺器械的部分针体和/或针尖会被遮挡的情况，此时器械识别模块会根据现场图像进行分析计算出被遮挡的针体和/或针尖所处的位置，并可以通过显示模块以增强现实方式显示出被遮挡的针体和/或针尖的位置，从而方便操作者能够清楚的看到医疗器械。

值得说明的是，现场图像获取模块获取的现场图像可以是由其他设备拍摄后发送传输获得，如本发明提供的增强现实头戴式设备中的摄像头拍摄获得穿刺手术现场的现场图像，进而传输给现场图像获取模块。在完成解剖结构模型与现实图像的配准后，便可以根据现实图像并实时追踪穿刺器械的位置以及穿刺器械的朝向，将其坐标转换至与解剖结构模型相同的真实空间坐标系，实时计算穿刺器械的针尖延长线与解剖结构模型的空间关系，通过各个判断单元判断当前穿刺路径是否为合理穿刺路径，并通过针体颜色、信息提示板文字、颜色等提示信息提示操作者当前手术计划的合理性与风险。

在一种实施例中，路径计算模块具体用于根据所述穿刺器械的位置与针尖朝向计算得到所述穿刺器械的针体延长线；显示模块用于将所述针体延长线叠加显示于所述穿刺器械的针尖远端位置。在此实施例中，从操作者视野中可以清晰地看到针体延长线与患者的各解剖结构的位置关系，便于操作者规划穿刺路径。在一种实施例中，针体延长线的显示长度为当前针尖位置到达所述穿刺目标的长度。

在一种实施例中，所述显示模块还用于，显示用于引导所述操作者调整至最佳观察角度的提示信息。

当针尖朝向与当前操作者观察方向基本一致时，在操作者视野中针体延长线的形态接近一个圆点，沿着该方向观察可以准确地对准穿刺目标并清晰地看到穿刺路径上的其他解剖结构。因此，当针尖朝向与操作者观察方向之间的角度小于一定的角度阈值时(如设定角度阈值为10度)认为是最佳观察角度。

如图2所示，本发明实施例提供了一种基于增强现实的穿刺手术导航装置，所述路径计算模块包括第一判断单元和第二判断单元：所述第一判断单元用于判断所述穿刺器械是否对准所述穿刺目标；所述第二判断单元用于判断所述穿刺器械的针尖到所述穿刺目标的直线是否避开特定解剖结构；所述显示模块根据所述第一判断单元和/或第二判断单元的判断结果，显示第一提示信息和/或第二提示信息。

值得说明的是，提示信息是在手术进程中以各种形式提示操作者顺利进行手术的信息。在不同的实施例中，不同的提示信息可以根据具体情况进行设定，并且以增强现实方式显示在操作者的视野中，以便操作者实时掌握手术情况。在手术进行过程中，穿刺器械未刺入穿刺目标之前，第一判断单元实时判断所述穿刺器械是否对准所述穿刺目标，进而显示模块根据第一判断单元的判断结果显示第一提示信息，第一提示信息用于表征穿刺器械是否对准所述穿刺目标。如在该实施例中，第一判断单元判断穿刺器械的针体延长线是否与穿刺目标存在交点，显示模块显示的第一提示信息包括显示穿刺器械的针体延长线。而不同的判断结果以不同的形式显示穿刺器械的针体延长线，如不同的颜色和/或不同的粗细等等。第二判断单元判断穿刺器械的针尖到所述穿刺目标的直线是否避开特定解剖结构，特定解剖组织为手术过程中穿刺器械不能触碰或刺穿的器官或组织，如肋骨和血管等等，进而显示模块根据第二判断单元的判断结果显示第二提示信息，第二提示信息用于表征穿刺器械的针尖到穿刺目标的直线路径是否经过特定解剖结构，显示的第二提示信息包括显示穿刺器械的针体延长线。不同的判断结果以不同的形式显示穿刺器械的针体延长线，如不同的颜色和/或不同的粗细等等。如在一个实施例中穿刺目标是肺结节，第二判断单元判断穿刺器械的针尖到肺结节的直线是否避开肋骨、血管或气管。

如图3所示，本发明实施例提供了一种基于增强现实的穿刺手术导航装置，所述手术导航模块还包括第三判断单元，所述第三判断单元用于计算沿穿刺路径方向上所述穿刺目标与其所属解剖结构的边缘的距离，并判断是否大于安全距离；所述显示模块根据所述第三判断单元的判断结果，显示第三提示信息。

在该实施例中，第三判断单元计算沿穿刺路径方向上穿刺目标与其所属解剖结构的边缘的距离，并判断是否大于安全距离，进而显示模块根据第三判断单元的判断结果显示第三提示信息，第三提示信息用于表征穿刺路径方向上穿刺目标与其所属解剖结构的边缘的距离是否大于安全距离。如在一个实施例中穿刺目标是肺结节，判断“安全距离是否过短”的目的是防止整个肺部被刺穿，因为从外向内穿刺肺的过程中，如果突破穿刺远端肺的边界，后方都是大血管、心脏等危险器官。显示模块显示的第三提示信息包括显示穿刺器械的针体延长线。而不同的判断结果以不同的形式显示穿刺器械的针体延长线，如不同的颜色和/或不同的粗细等等。

在本发明一个实施例中，若所述第一判断单元、所述第二判断单元和所述第三判断单元的判断结果均为是，所述显示模块显示用于表征确认当前路径可行的提示信息。

值得说明的是，若第一判断单元、第二判断单元和第三判断单元的判断结果均为是，显示模块显示用于表征确认当前路径可行的提示信息，若第一判断单元、第二判断单元和第三判断单元的判断结果存在否，显示模块显示用于表征当前路径可能存在风险的提示信息。如在一个实施例中，第一判断单元、第二判断单元和第三判断单元的判断结果均为是，显示模块显示穿刺器械的针体延长线为绿色；第一判断单元的判断结果均为否，显示模块显示穿刺器械的针体延长线为黄色；第二判断单元和/或第三判断单元的判断结果均为否，显示模块显示穿刺器械的针体延长线为红色。于是在操作者佩戴增强现实头戴式设备后，操作者便可以根据不同的提示信息也就是不同颜色的针体延长线，改变穿刺器械的位置和/或针尖朝向，进而快速准确的得知正确的穿刺路径，并且可以以正确的穿刺路线继续进行穿刺手术。在不同的实施例中，可行的提示信息和不可行的提示信息的表示形式可以不同，此处不再一一列举。

如图4所示，本发明实施例提供了一种基于增强现实的穿刺手术导航装置，该装置还包括计划制定模块，用于根据所述患者的术前医学影像以及所述穿刺目标确定预设穿刺路径；

所述路径计算模块包括第四判断单元，用于根据所述穿刺器械的位置与针尖朝向判断所述穿刺器械的针体延长线是否处于所述预设穿刺路径范围内；

所述显示模块根据所述第四判断单元的判断结果，显示第四提示信息。

在该实施例中，在术前通过解剖结构模型获得患者不同器官以及各组织的三维模型，进而确定穿刺目标的三维区域以及穿刺器械的破皮进针区域。在穿刺手术中，穿刺针需沿直线路径刺破皮肤到达穿刺目标位置，因此只需确定破皮进针点和穿刺目标点的位置，两点连线所在的直线即可作为预设穿刺路径。为增加可操作性，以最佳的破皮进针点位置为中心，以可接受的误差范围为半径，确定一圆形区域为破皮进针区域；以穿刺目标点(例如在肺结节穿刺手术中，穿刺目标点为肺结节的中心位置)为中心，以可接受的误差范围为半径，确定一圆形区域为穿刺目标位置区域，即可确定一圆柱体范围为穿刺路径。如图5所示在此计划制定模块还可以包括交互单元用于根据用户输入的指令确定预设穿刺路径。破皮进针区域到达穿刺目标所在的位置之间的直线路径形成预设穿刺路径，若破皮进针区域为一圆形区域，穿刺目标位置也为一圆形区域，则穿刺路径构成一圆柱形区域。第四提示信息用于表征针体延长线是否处于所述预设穿刺路径范围内，显示模块显示的第四提示信息包括显示穿刺器械的针体延长线。而不同的判断结果以不同的形式显示穿刺器械的针体延长线，如不同的颜色和/或不同的粗细等等。如在一个实施例中，第四判断单元判断结果为是，第四提示信息为红色的针体延长线，否则第四提示信息为蓝色的针体延长线。与上述相同，此处第四提示信息可以根据具体情况进行设定，以增强现实方式显示在操作者的视野中，以便操作者实时掌握穿刺路线的情况，改变穿刺器械的位置和/或针尖朝向，进而快速准确的得知正确的穿刺路线。

值得说明的是，破皮进针区域为在患者身体表皮上选定的区域，可以是圆形、正方形等，甚至可以是不规则的封闭区间。穿刺目标为是在解剖结构模型的基础上根据病变位置经过手动或自动确定的三维区域。于是，破皮进针区域和穿刺目标均具有各自的边界。众所周知，在两个平行的平面之间能够形成一个立体区域，例如，两个平行的圆形之间可以形成一个圆柱形区域。在本实施例中，由于将破皮进针区域相对较小，于是可以将破皮进针区域看作在同一水平面，而在穿刺目标的三维区域中必定存在多个与破皮进针区域所在平面平行的平面，在此选取与破皮进针区域所在平面平行的平面中面积最大的一个平面作为构建立体区域的基础，进而可以在破皮进针区域和穿刺目标之间形成一个立体区域。

如图6-7所示，本发明操作者佩戴增强现实头戴式设备进行穿刺手术，手术过程中，不用剖开患者的身体来看内部解剖结构，而是增强现实头戴式设备可以将术前得到的患者相应解剖结构的三维模型通过头戴式设备使操作者看到在相应位置的相应解剖结构模型(如肋骨、肺实质、血管等结构的三维模型)。操作者的视野中，不仅能看到现实场景中的患者和穿刺器械，还可以看到增强现实方式显示在相应位置的穿刺针延长线、患者肋骨、肺、穿刺目标等虚拟结构。进一步地，可以实时的对当前手术状况进行计算，实时以文字或图案的方式提示穿刺针距离目标的距离，穿刺方向是否偏离，是否可能碰触到肋骨、血管等障碍器官等提示信息，实时给操作者提示。

本发明提供了一种基于增强现实的穿刺手术导航方法，该方法包括：

获取患者的术前医学影像，并根据所述术前医学影像获得所述患者的解剖结构模型；

获取手术现场的现场图像，所述现场图像由操作者佩戴的头戴式设备拍摄得到；

根据所述患者的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场的所述患者的相应解剖结构进行位置配准；

根据所述现场图像识别操作者手中穿刺器械的位置与针尖朝向；

根据所述穿刺器械的位置与针尖朝向、所述患者的解剖结构模型以及所述患者的解剖结构模型中的穿刺目标，计算获得穿刺手术的路径信息；

根据所述路径计算单元计算得到的所述路径信息生成提示信息，并通过所述头戴式设备以增强现实方式将所述提示信息叠加显示于手术现场场景的相应位置。

值得说明的是，本发明提供的基于增强现实的穿刺手术导航方法可以基于本发明提供的基于增强现实的穿刺手术导航装置实现。

在本发明的一种实施例中，还包括：根据所述穿刺器械的位置与针尖朝向计算得到所述穿刺器械的针体延长线；将所述针体延长线叠加显示于所述穿刺器械的针尖远端位置。在此实施例中，从操作者视野中可以清晰地看到针体延长线与患者的各解剖结构的位置关系，便于操作者规划穿刺路径。在一种实施例中，针体延长线的显示长度为当前针尖位置到达所述穿刺目标的长度。

在一种实施例中，还包括：显示用于引导所述操作者调整至最佳观察角度的提示信息。当针尖朝向与当前操作者观察方向基本一致时，在操作者视野中针体延长线的形态接近一个圆点，沿着该方向观察可以准确地对准穿刺目标并清晰地看到穿刺路径上的其他解剖结构。因此，当针尖朝向与操作者观察方向之间的角度小于一定的角度阈值时(如设定角度阈值为10度)认为是最佳观察角度。

在本发明一个实施例中，根据所述穿刺器械的位置与针尖朝向、所述患者的解剖结构模型以及所述患者的解剖结构模型中的穿刺目标，计算获得穿刺手术的路径信息，包括：

判断所述穿刺器械是否对准所述穿刺目标；

根据所述路径计算单元计算得到的所述路径信息生成提示信息，包括：

根据判断结果显示第一提示信息。

在本发明一个实施例中，所述第一判断单元具体用于判断所述穿刺器械的针体延长线是否与穿刺目标存在交点；

所述显示第一提示信息包括显示所述穿刺器械的针体延长线。

在本发明一个实施例中，根据所述穿刺器械的位置与针尖朝向、所述患者的解剖结构模型以及所述患者的解剖结构模型中的穿刺目标，计算获得穿刺手术的路径信息，包括：

判断所述穿刺器械的针尖到所述穿刺目标的直线是否避开特定解剖结构；

根据所述路径计算单元计算得到的所述路径信息生成提示信息，包括：

根据判断结果显示第二提示信息。

在本发明一个实施例中，若穿刺目标是肺结节，根据所述穿刺器械的位置与针尖朝向、所述患者的解剖结构模型以及所述患者的解剖结构模型中的穿刺目标，计算获得穿刺手术的路径信息，包括：

判断所述穿刺器械的针尖到所述肺结节的直线是否避开肋骨、血管或气管。

在本发明一个实施例中，根据所述穿刺器械的位置与针尖朝向、所述患者的解剖结构模型以及所述患者的解剖结构模型中的穿刺目标，计算获得穿刺手术的路径信息，包括：

计算沿穿刺路径方向上所述穿刺目标与其所属解剖结构的边缘的距离，并判断是否大于安全距离；

根据所述路径计算单元计算得到的所述路径信息生成提示信息，包括：

根据判断结果显示第三提示信息。

在本发明一个实施例中，根据所述穿刺器械的位置与针尖朝向、所述患者的解剖结构模型以及所述患者的解剖结构模型中的穿刺目标，计算获得穿刺手术的路径信息，包括：

判断所述穿刺器械是否对准所述穿刺目标；

判断所述穿刺器械的针尖到所述穿刺目标的直线是否避开特定解剖结构；

计算沿穿刺路径方向上所述穿刺目标与其所属解剖结构的边缘的距离，并判断是否大于安全距离；

若判断结果均为是，显示用于表征确认当前路径可行的提示信息。

在本发明一个实施例中，该基于增强现实的穿刺手术导航方法还包括：

根据所述患者的术前医学影像以及所述穿刺目标确定预设穿刺路径；

根据所述穿刺器械的位置与针尖朝向判断所述穿刺器械的针体延长线是否处于所述预设穿刺路径范围内；

根据判断结果，显示第四提示信息。

在本发明一个实施例中，根据所述患者的术前医学影像以及所述穿刺目标确定预设穿刺路径，包括：

根据用户输入的指令确定所述预设穿刺路径。

在本发明一个实施例中，该基于增强现实的穿刺手术导航方法还包括：

计算所述穿刺器械的针尖与所述穿刺目标之间的距离；

根据所述路径计算单元计算得到的所述路径信息生成提示信息，并以增强现实方式将所述提示信息与手术现场场景叠加显示给用户，包括：

显示所述穿刺器械的针尖与所述穿刺目标之间的距离。

应当理解，本申请中描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的该程序代码中的指令，执行本发明的各种方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面发明的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所发明的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中发明的所有特征以及如此发明的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中发明的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的发明是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (14)

1.一种基于增强现实的穿刺手术导航装置，其特征在于，该装置包括：医学影像获取模块、现场图像获取模块、位置配准模块、器械识别模块、路径计算模块和显示模块，其中，

所述医学影像获取模块，用于获取患者的术前医学影像，并根据所述术前医学影像获得所述患者的解剖结构模型；

所述现场图像获取模块，用于获取手术现场的现场图像，所述现场图像由操作者佩戴的头戴式设备拍摄得到；

所述位置配准模块，用于根据所述患者的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场的所述患者的相应解剖结构进行位置配准；

所述器械识别模块，用于根据所述现场图像识别操作者手中穿刺器械的位置与针尖朝向；

所述路径计算模块，用于根据所述穿刺器械的位置与针尖朝向、所述患者的解剖结构模型以及所述患者的解剖结构模型中的穿刺目标，计算获得穿刺手术的路径信息；

所述显示模块，用于根据所述路径计算单元计算得到的所述路径信息生成提示信息，并通过所述头戴式设备以增强现实方式将所述提示信息叠加显示于手术现场场景的相应位置。

2.根据权利要求1所述的基于增强现实的穿刺手术导航装置，其特征在于，所述路径计算模块具体用于根据所述穿刺器械的位置与针尖朝向计算得到所述穿刺器械的针体延长线；

所述显示模块用于将所述针体延长线叠加显示于所述穿刺器械的针尖远端位置。

3.根据权利要求2所述的基于增强现实的穿刺手术导航装置，其特征在于，所述针体延长线的显示长度为当前针尖位置到达所述穿刺目标的长度。

4.根据权利要求1所述的基于增强现实的穿刺手术导航装置，其特征在于，所述显示模块还用于，显示用于引导所述操作者调整至最佳观察角度的提示信息。

5.根据权利要求1所述的基于增强现实的穿刺手术导航装置，其特征在于，所述路径计算模块包括第一判断单元和第二判断单元：

所述第一判断单元用于判断所述穿刺器械是否对准所述穿刺目标；

所述第二判断单元用于判断所述穿刺器械的针尖到所述穿刺目标的直线是否避开特定解剖结构；

所述显示模块根据所述第一判断单元和/或第二判断单元的判断结果，显示第一提示信息和/或第二提示信息。

6.根据权利要求5所述的基于增强现实的穿刺手术导航装置，其特征在于，所述第一判断单元具体用于判断所述穿刺器械的针体延长线是否与穿刺目标存在交点。

7.根据权利要求5所述的基于增强现实的穿刺手术导航装置，其特征在于，所述穿刺目标是病变位置；

所述第二判断单元具体用于判断所述穿刺器械的针尖到所述穿刺目标的直线是否避开肋骨、血管或气管。

8.根据权利要求5所述的基于增强现实的穿刺手术导航装置，其特征在于，所述路径计算模块还包括第三判断单元，所述第三判断单元用于计算沿穿刺路径方向上所述穿刺目标与其所属解剖结构的边缘的距离，并判断是否大于安全距离；

所述显示模块根据所述第三判断单元的判断结果，显示第三提示信息。

9.根据权利要求8所述的基于增强现实的穿刺手术导航装置，其特征在于，若所述第一判断单元、所述第二判断单元和所述第三判断单元的判断结果均为是，所述显示模块显示用于表征确认当前路径可行的提示信息。

10.根据权利要求1所述的基于增强现实的穿刺手术导航装置，其特征在于，该装置还包括计划制定模块，用于根据所述患者的术前医学影像以及所述穿刺目标确定预设穿刺路径；

所述路径计算模块包括第四判断单元，用于根据所述穿刺器械的位置与针尖朝向判断所述穿刺器械的针体延长线是否处于所述预设穿刺路径范围内；

所述显示模块根据所述第四判断单元的判断结果，显示第四提示信息。

11.根据权利要求10所述的基于增强现实的穿刺手术导航装置，其特征在于，所述计划制定模块包括交互单元，用于根据用户输入的指令确定所述预设穿刺路径。

12.根据权利要求1所述的基于增强现实的穿刺手术导航装置，其特征在于，所述路径计算模块还用于计算所述穿刺器械的针尖与所述穿刺目标之间的距离；

所述显示模块还用于显示所述穿刺器械的针尖与所述穿刺目标之间的距离。

13.一种基于增强现实的穿刺手术导航方法，其特征在于，该方法包括：

获取患者的术前医学影像，并根据所述术前医学影像获得所述患者的解剖结构模型；

获取手术现场的现场图像，所述现场图像由操作者佩戴的头戴式设备拍摄得到；

根据所述患者的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场的所述患者的相应解剖结构进行位置配准；

根据所述现场图像识别操作者手中穿刺器械的位置与针尖朝向；

根据所述穿刺器械的位置与针尖朝向、所述患者的解剖结构模型以及所述患者的解剖结构模型中的穿刺目标，计算获得穿刺手术的路径信息；

根据所述路径计算单元计算得到的所述路径信息生成提示信息，并通过所述头戴式设备以增强现实方式将所述提示信息叠加显示于手术现场场景的相应位置。

14.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求13所述的方法。

Images