CN113893034A

CN113893034A - 基于增强现实的一体式手术导航方法、系统和存储介质

Info

Publication number: CN113893034A
Application number: CN202111116240.4A
Authority: CN
Inventors: 王旭东; 李彪
Original assignee: Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Current assignee: Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority date: 2021-09-23
Filing date: 2021-09-23
Publication date: 2022-01-07

Abstract

本发明提供了基于增强现实的一体式手术导航方法、系统和存储介质，其方法包括：根据患者的影像扫描数据，生成对应的虚拟3D器官模型影像；虚拟3D器官模型影像包括预设手术方案对应的指引图形；通过终端设备的双目红外摄像头拍摄获取定位追踪图像；通过终端设备的可见光摄像头拍摄获取术区真实影像；根据定位追踪图像中的至少三个红外反光球，计算得到目标器官与终端设备之间的相对位置矩阵；根据相对位置矩阵，将术区真实影像、虚拟3D器官模型影像及其指引图形生成并显示虚拟现实融合图像。本发明实现手术导航辅助，避免了术者视野注意力的反复中断和切换，可方便术者看着手术方案高效、便捷、准确进行手术。

Description

基于增强现实的一体式手术导航方法、系统和存储介质

技术领域

本发明涉及图像处理技术领域，尤指基于增强现实的一体式手术导航方法、系统和存储介质。

背景技术

随着计算机技术的发展，计算机辅助手术模拟和辅助设计在外科治疗中的重要作用已被广泛认可。术前在计算机软件中制定最佳的手术方案，术中依照术前设计准确进行手术，可以大大提高手术效果，同时减少手术风险。

外科导航技术是一种帮助手术医生术中准确按照虚拟手术方案实施手术的方法，已被广泛应用于神经外科、颌面外科、脊柱外科等领域。导航系统通过确定手术器械与患者实体的相对空间位置，对手术医生进行术中指导。

但在临床应用中，可以发现目前使用的传统外科导航技术存在许多不足：

1、最常使用的导航探针是手术医生与导航系统进行交互的唯一方式。术者基本只能通过探针对某一点进行定位与手术方案进行联系。但这种点定位的方法，往往不能对手术医生提供足够有效的指导帮助，如对复杂形态物体的定位等，因此，传统外科导航技术无法向手术医生呈现完整的手术方案。

2、传统外科导航技术一般通过显示器进行信息输出，但是手术医生需要反复在术区视野和显示器之间进行切换，以获得导航辅助，这一方式严重影响了手术操作的连贯性和术者注意力的集中。

发明内容

本发明的目的是提供基于增强现实的一体式手术导航方法、系统和存储介质，解决了无法准确定位，手术操作不连贯以及术者注意力无法集中的技术问题。

本发明提供的技术方案如下：

本发明提供一种基于增强现实的一体式手术导航方法，包括步骤：

根据患者的影像扫描数据，生成对应的虚拟3D器官模型影像；所述虚拟3D器官模型影像包括预设手术方案对应的指引图形；

通过终端设备的双目红外摄像头拍摄获取定位追踪图像；所述定位追踪图像包括目标器官以及通过安装支架设置在所述目标器官上的至少三个红外反光球；所述至少三个红外反光球不位于同一直线上；

通过所述终端设备的可见光摄像头拍摄获取术区真实影像；所述术区真实影像包括术区范围内的环境和所述目标器官；所述可见光摄像头和所述双目红外摄像头设置在所述终端设备的同侧；

根据所述定位追踪图像中的所述至少三个红外反光球，计算得到所述目标器官与所述终端设备之间的相对位置矩阵；

根据所述相对位置矩阵，将所述术区真实影像、所述虚拟3D器官模型影像及其指引图形生成并显示虚拟现实融合图像。

进一步的，通过终端设备的双目红外摄像头拍摄获取定位追踪图像之前包括步骤：

通过标定获取所述双目红外摄像头的相机内参。

进一步的，所述根据所述定位追踪图像中的所述至少三个红外反光球，计算得到所述目标器官与所述终端设备之间的相对位置矩阵包括步骤：

对所述定位追踪图像进行灰度处理得到灰度图像；

根据所述灰度图像中各像素点的深度信息，查找出所述至少三个红外反光球分别对应的目标区域；

根据所述目标区域对应的深度信息和所述相机内参，计算得到所述目标器官相对于所述双目红外摄像头之间的相对位置矩阵。

进一步的，所述根据所述相对位置矩阵，将所述术区真实影像、所述虚拟3D器官模型影像及其指引图形生成并显示虚拟现实融合图像包括步骤：

根据预先在所述目标器官上选取的参考注册点和所述定位追踪图像进行配准；

根据所述相对位置矩阵、所述术区实际图像中目标器官的像素坐标，将所述虚拟3D器官模型影像、指引图形叠加在所述术区真实影像，生成对应的虚拟现实融合图像，并通过设置在所述终端设备上且位于所述可见光摄像头对立侧的显示屏进行显示。

本发明还提供一种基于增强现实的一体式手术导航系统，包括：

上位机，用于根据患者的影像扫描数据，生成对应的虚拟3D器官模型影像；所述虚拟3D器官模型影像包括预设手术方案对应的指引图形；

双目红外摄像头，安装于终端设备处，用于拍摄获取定位追踪图像；所述定位追踪图像包括目标器官以及通过安装支架设置在所述目标器官上的至少三个红外反光球；所述至少三个红外反光球不位于同一直线上；

可见光摄像头，安装于终端设备处，用于拍摄获取术区真实影像；所述术区真实影像包括术区范围内的环境和所述目标器官；

所述终端设备，用于根据所述定位追踪图像中的所述至少三个红外反光球，计算得到所述目标器官与所述终端设备之间的相对位置矩阵，根据所述相对位置矩阵，将所述术区真实影像、所述虚拟3D器官模型影像及其指引图形生成并显示虚拟现实融合图像；

其中，所述可见光摄像头和所述双目红外摄像头设置在所述终端设备的同侧。

进一步的，所述终端设备还包括：

标定模块，用于通过标定获取所述双目红外摄像头的相机内参。

进一步的，所述终端设备还包括：

图像处理模块，用于对所述定位追踪图像进行灰度处理得到灰度图像；

图像识别模块，用于根据所述灰度图像中各像素点的深度信息，查找出所述至少三个红外反光球分别对应的目标区域；

计算模块，用于根据所述目标区域对应的深度信息和所述相机内参，计算得到所述目标器官相对于所述双目红外摄像头之间的相对位置矩阵。

进一步的，所述终端设备还包括：

配准模块，用于根据预先在所述目标器官上选取的参考注册点和所述定位追踪图像进行配准；

图像生成模块，用于根据所述相对位置矩阵、所述术区实际图像中目标器官的像素坐标，将所述虚拟3D器官模型影像、指引图形叠加在所述术区真实影像，生成对应的虚拟现实融合图像；

显示模块，设置在所述终端设备上且位于所述可见光摄像头对立侧，用于进行显示所述虚拟现实融合图像。

本发明还提供一种存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述的基于增强现实的一体式手术导航方法所执行的操作。

通过本发明提供的基于增强现实的一体式手术导航方法、系统和存储介质，能够实现手术导航辅助，避免了术者视野注意力的反复中断和切换，可方便术者看着手术方案高效、便捷、准确进行手术。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对基于增强现实的一体式手术导航方法、系统和存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种基于增强现实的一体式手术导航方法的一个实施例的流程图；

图2是本发明一种基于增强现实的一体式手术导航方法的另一个实施例的流程图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

增强现实(Augmented Reality，AR)技术是指在真实的场景中加入计算机生成的虚拟场景，实现真实世界信息和虚拟世界信息的融合，将虚拟的信息应用到真实世界，能够看到叠加到真实环境上的虚拟图像，从而达到超越现实的信息获取。

本发明的一个实施例，如图1所示，一种基于增强现实的一体式手术导航方法，包括：

S100根据患者的影像扫描数据，生成对应的虚拟3D器官模型影像；所述虚拟3D器官模型影像包括预设手术方案对应的指引图形；

具体的，通过医学影像设备对患者进行检测输出影像扫描数据，其中，影像扫描数据包括CT扫描数据、DR扫描数据、CTA扫描数据、MRI扫描数据、PET扫描数据、三维彩超扫描数据等。可以使用Mimics Medical等3D建模软件直接将患者的CT扫描数据或者MRI扫描数据进行建模生成对应的虚拟3D器官模型影像。其中，预设手术方案对应的指引图形包括但是不限于目标解剖结构(即目标器官)的标记、手术目标位置的标记、手术入路设计的标记、手术范围的标记、解剖结构的移动(例如骨块的移动方向)和重新定位标记(骨块移动后新的位置标记)。

S200通过终端设备的双目红外摄像头拍摄获取定位追踪图像；所述定位追踪图像包括目标器官以及通过安装支架设置在所述目标器官上的至少三个红外反光球；所述至少三个红外反光球不位于同一直线上；

具体的，双目红外摄像头基于双目视觉定位原理，可以定位目标器官上至少三个红外反光球的空间位置关系，至少三个红外反光球是通过安装支架安装在目标器官上的，其中，目标器官可以是头颅骨、股骨等。其中，至少三个红外反光球基本就在术区范围内，比如，至少三个红外反光球安装在患者的头颅颅骨上，术区就在患者的面部。

S300通过所述终端设备的可见光摄像头拍摄获取术区真实影像；所述术区真实影像包括术区范围内的环境和所述目标器官；所述可见光摄像头和所述双目红外摄像头设置在所述终端设备的同侧；

具体的，目标器官是指患者需要进行手术治疗的人体器官，人体器官包括但是不限于头、手、脚、眼、耳、内脏器官和骨等。终端设备一般是安装有三个摄像头的导航平板装置，分别是可见光摄像头和双目红外摄像头，双目红外摄像头可以设置安装在导航平板装置的上摄像头(或左摄像头)和下摄像头(或右摄像头)，双目红外摄像头均是具有红外功能的摄像头。安装支架由可识别部分和固定部分组成，可识别部分包含相对位置固定的至少3个红外反射球，至少3个白色的红外反射球在同一个平面上，由不同排列的至少3个白色红外发射球组成的被追踪对象，可被识别为不同目标，需要知道的是，对至少3个红外反射器进行追踪可以对其分别进行实时定位。固定部分用以将可识别部分固定于其他装置或患者待解剖结构即目标器官上。其中，可见光摄像头和双目红外摄像头都设置在终端设备的一侧，可通过可见光摄像头拍摄获取术区以获取术区真实影像，以便后续根据术区真实影像获取术区的真实场景信息。

在医生对患者的目标器官进行手术的过程中，通过终端设备的双目红外摄像头实时对准目标器官以及安装在目标器官上的至少三个红外反光球，对准后拍摄获取定位追踪图像。此外，通过终端设备的可见光摄像头对准目标器官，以便拍摄获取包括目标器官以及目标器官周围的术区范围环境得到术区真实影像。

S400根据所述定位追踪图像中的所述至少三个红外反光球，计算得到所述目标器官与所述终端设备之间的相对位置矩阵；

具体的，对定位追踪图像进行图像识别得到该图像中的至少三个红外反光球，由于至少三个红外反光球是固定安装在目标器官上的，对患者进行手术期间终端设备是放置在术区范围内不动的，因此可以根据至少三个红外反光球在图像中的像素坐标，计算得到目标器官与所述终端设备之间的相对位置矩阵。

S500根据所述相对位置矩阵，将所述术区真实影像、所述虚拟3D器官模型影像及其指引图形生成并显示虚拟现实融合图像。

具体的，使用导航平板装置进行手术指导，导航平板装置安装了可消毒外壳之后，可直接放置于患者即将进行手术的手术台上使用。术者(即对患者进行手术的医生)需要导航指导时，将导航平板装置背面的摄像头(包括可见光摄像头和双目红外摄像头)对准术区。通过导航平板装置上的双目红外摄像头，确定导航平板装置相对于患者待解剖部位(即本发明的目标器官)的相对位置矩阵，并将这一相对位置矩阵无线传输给导航平板装置的处理器(CPU)，使得处理器根据相对位置矩阵，可以准确将将术区真实影像与虚拟3D器官模型影像进行准确融合显示。

本发明实现虚拟手术方案图像和术区真实影像的叠加显示，包括截骨位置、骨块移动位置等，使用AR技术呈现虚拟手术方案，实现导航辅助功能，使用终端设备进行显示和操作交互，避免了术者视野注意力的反复中断和切换，可提高导航辅助的效果，并增加其易用性，使得手术医生可以看着手术方案开刀，高效、便捷的发挥手术指导作用。

本发明的一个实施例，如图2所示，一种基于增强现实的一体式手术导航方法，包括：

S010通过标定获取所述双目红外摄像头的相机内参；

S410对所述定位追踪图像进行灰度处理得到灰度图像；

S420根据所述灰度图像中各像素点的深度信息，查找出所述至少三个红外反光球分别对应的目标区域；

S430根据所述目标区域对应的深度信息和所述相机内参，计算得到所述目标器官相对于所述双目红外摄像头之间的相对位置矩阵；

具体的，对所述定位追踪图像进行灰度处理得到灰度图像，由于红外反光球具有反光性，因此，根据所述灰度图像中各像素点的深度信息，查找出所述至少三个红外反光球分别对应的目标区域，提高了对红外反光球轮廓的识别精度，以提取到红外反光球对应目标区域的轮廓信息，提高了图像分割结果的准确性，从而提高了红外反光球定位的准确性。

S510根据预先在所述目标器官上选取的参考注册点和所述定位追踪图像进行配准；

S520根据所述相对位置矩阵、所述术区实际图像中目标器官的像素坐标，将所述虚拟3D器官模型影像、指引图形叠加在所述术区真实影像，生成对应的虚拟现实融合图像，并通过设置在所述终端设备上且位于所述可见光摄像头对立侧的显示屏进行显示。

具体的，本发明通过运行操作系统进行配准后，根据相对位置矩阵将虚拟3D器官模型影像与术区实际图像融合匹配显示，实现增强现实显示效果。总之，整个终端设备通过双目红外摄像头知道红外反光球的位置，从而可以知道目标器官相对于双目红外摄像头之间的相对位置矩阵。根据相对位置矩阵将目标器官的虚拟3D器官模型影像叠加在可见光摄像头拍摄的术区真实影像上，通过双目红外摄像头查找出目标器官的位置。根据所述相对位置矩阵、所述术区实际图像中目标器官的像素坐标，将所述虚拟3D器官模型影像、指引图形叠加在所述术区真实影像，生成对应的虚拟现实融合图像，并通过设置在所述终端设备上且位于所述可见光摄像头对立侧的显示屏进行显示。

优选的，操作者可以直接在触控屏上完成信息及指令输入，调整显示信息的内容完成交互。除触控的显示屏外，也包括鼠标、键盘等指令信息输入方式完成信息及指令输入。

通过标定获得双目红外摄像头与可见光摄像头之间的相对位置与相对位置矩阵，这些相对位置矩阵可被预先存储在存储器中，通过标定获取所拍摄真实手术场景的可见光摄像头中的相机内部摄像参数(比如焦距、成像中心和畸变参数等)完成图像引导手术的配准，进而将影像扫描数据中的虚拟3D器官模型影像转换到双目红外摄像头的坐标系下，以便在各个相机的成像周期获得的相对应图像上实现增强现实显示(即虚拟-实际融合显示)。

本发明通过双目红外摄像头与可见光摄像头进行定位追踪，其中，需要将红外反光球安装于患者术区解剖结构之上，这样可以确定患者术区的实时空间位置，以抵消患者身体移动造成的术区解剖结构位置改变。这样，根据可见光摄像头的位置信息，调整虚拟3D器官模型的位置、大小使其与真实场景中患者的解剖结构相匹配，即虚拟3D器官模型影像与术区真实影像的融合实现增强现实显示。本发明以同样方法可以将虚拟手术方案，在指定的位置显示，如手术目标位置、手术范围、截骨线位置、重要手术信息等，实现对术者的术中指导。

本发明在实际术区解剖结构影像即术区真实影像上，准确叠加显示包括手术方案的虚拟3D器官模型影像，使用增强现实(AR)技术，导航仪完成虚实融合匹配，从而实现在视觉水平提供可视化、图像化的手术指导，手术医生可以“看着方案”进行手术。术者在视觉注意不改变的情况下，直接看到手术方案，这样其指导效果大大优于目前导航系统中使用探针反复定点确定方案的方式。另外，预设手术方案对应的指引图形显示灵活，大大提高指导效果，根据手术操作的不同，术者的操作喜好等，该系统将可以显示截骨线位置、去骨范围、重要神经血管位置、骨块移动的目标位置、入路位置点和手术目标等。本发明将术区真实影像、虚拟3D器官模型影像及其指引图形的显示与交互等均集成于一台终端设备上，可放置于手术台上使用，操作便捷灵活。这样，能够让术者(医生和护士)能够全身心地沉浸到患者的器官中去做观察，帮助术者以沉浸式的方式进行手术，降低了手术难度和风险。

下面结合一例颌面部手术的案例实施，对本发明作进一步的描述：

1、术前方案设计：基于患者的CT扫描数据(即本发明影像扫描数据的一种)，在导航系统中完成解剖结构的3D器官模型重建，包括颅上颌骨、下颌骨。根据手术需要，制定手术方案，包括重要解剖结构的标记、手术目标位置标记、手术入路设计和标记、手术范围标记、解剖结构的移动和重新定位等。

2、注册配准：术中首先在患者前额部发际线以内安置一个红外反光球，术中在患者实际解剖结构中，于3D器官模型上选取相对应的5个参考注册点。导航系统根据这5个参考注册点的位置关系，将CT扫描数据重建得到的3D器官模型与患者实体进行注册匹配配准。

3、AR辅助导航：使用导航平板装置(即本发明终端设备的一种)进行手术指导。导航平板装置装上可消毒外壳后，可直接放置于手术台上使用。术者需要导航指导时，将导航平板装置背面对准术区，通过导航平板装置背面设置的可见光摄像头拍摄获取术区真实影像，通过导航平板装置背面设置的双目红外摄像头拍摄获取定位追踪图像。此外，可以通过术区真实影像确定导航平板装置相对于患者解剖结构即目标器官的相对位置矩阵，并将实时空间位置无线传输给导航平板装置的处理器，使得处理器根据相对位置矩阵，可以准确将3D器官模型与术区真实影像进行准确融合后，直接通过导航平板装置正面的屏幕显示，以实现虚拟手术方案图像和术区真实影像的叠加显示，包括截骨位置、骨块移动位置等，使术者可以看着手术方案开刀，高效、便捷的发挥手术指导作用。

本发明能在多个场景下对医生提供帮助，既能在术前提供影像显示、信息查询和手术规划，又能在术中通过AR进行三维病灶部位影像的叠加和手术路径的实时跟踪，实现手术的全程覆盖，能够帮助医生在手术过程中根据手术路径实时追踪并分层次显示病灶部位周围组织器官，方便主刀医生对于患者手术部位的全方位多层次的直观认识，为手术的精准实施提供支持，达到减缓医生压力、提高其手术成功率的效果，最终为患者的健康带来福音。本发明利用增强现实技术将术前医学影像及手术计划叠加到真实病人场景中，给医生提供了直观的观察方式。医生无需在手术导航系统的显示器与病人之间切换视线，从而更专注地投入在手术操作中，通过本发明可以从术者视角全程记录手术，方便了手术的记录，有利于对手术经验积累、分享和教学。

本发明的一个实施例，一种基于增强现实的一体式手术导航系统，包括：

基于前述实施例，所述终端设备还包括：

具体的，本实施例是上述方法实施例对应的装置实施例，具体效果参见上述方法实施例，在此不再一一赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的程序模块完成，即将所述装置的内部结构划分成不同的程序单元或模块，以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中，也可是各个单元单独物理存在，也可以两个或两个以上单元集成在一个处理单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序单元的形式实现。另外，各程序模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。

本发明的一个实施例，一种终端设备，包括处理器、存储器，其中，存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的计算机程序，实现上述所对应方法实施例中的基于增强现实的一体式手术导航方法。

所述终端设备可以为桌上型计算机、笔记本、掌上电脑、平板型计算机、手机、人机交互屏等设备。所述终端设备可包括，但不仅限于处理器、存储器。本领域技术人员可以理解，上述仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如：终端设备还可以包括输入/输出接口、显示设备、网络接入设备、通信总线、通信接口等。通信接口和通信总线，还可以包括输入/输出接口，其中，处理器、存储器、输入/输出接口和通信接口通过通信总线完成相互间的通信。该存储器存储有计算机程序，该处理器用于执行存储器上所存放的计算机程序，实现上述所对应方法实施例中的基于增强现实的一体式手术导航方法。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可以是所述终端设备的内部存储单元，例如：终端设备的硬盘或内存。所述存储器也可以是所述终端设备的外部存储设备，例如：所述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述终端设备的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述终端设备所需要的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

通信总线是连接所描述的元素的电路并且在这些元素之间实现传输。例如，处理器通过通信总线从其它元素接收到命令，解密接收到的命令，根据解密的命令执行计算或数据处理。存储器可以包括程序模块，例如内核(kernel)，中间件(middleware)，应用程序编程接口(Application Programming Interface，API)和应用。该程序模块可以是有软件、固件或硬件、或其中的至少两种组成。输入/输出接口转发用户通过输入/输出接口(例如感应器、键盘、触摸屏)输入的命令或数据。通信接口将该终端设备与其它网络设备、用户设备、网络进行连接。例如，通信接口可以通过有线或无线连接到网络以连接到外部其它的网络设备或用户设备。无线通信可以包括以下至少一种：无线保真(WiFi)，蓝牙(BT)，近距离无线通信技术(NFC)，全球卫星定位系统(GPS)和蜂窝通信等等。有线通信可以包括以下至少一种：通用串行总线(USB)，高清晰度多媒体接口(HDMI)，异步传输标准接口(RS-232)等等。网络可以是电信网络和通信网络。通信网络可以为计算机网络、因特网、物联网、电话网络。终端设备可以通过通信接口连接网络，终端设备和其它网络设备通信所用的协议可以被应用、应用程序编程接口(API)、中间件、内核和通信接口至少一个支持。

本发明的一个实施例，一种存储介质，存储介质中存储有至少一条指令，指令由处理器加载并执行以实现上述基于增强现实的一体式手术导航方法对应实施例所执行的操作。例如，存储介质可以是只读内存(ROM)、随机存取存储器(RAM)、只读光盘(CD-ROM)、磁带、软盘和光数据存储设备等。

它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序发送指令给相关的硬件完成，所述的计算机程序可存储于一存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述存储介质可以包括：能够携带所述计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如：在某些司法管辖区，根据立法和专利实践，计算机可读的存储介质不包括电载波信号和电信信号。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于增强现实的一体式手术导航方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于增强现实的一体式手术导航方法，其特征在于，通过终端设备的双目红外摄像头拍摄获取定位追踪图像之前包括步骤：

通过标定获取所述双目红外摄像头的相机内参。

3.根据权利要求2所述的基于增强现实的一体式手术导航方法，其特征在于，所述根据所述定位追踪图像中的所述至少三个红外反光球，计算得到所述目标器官与所述终端设备之间的相对位置矩阵包括步骤：

对所述定位追踪图像进行灰度处理得到灰度图像；

4.根据权利要求1-3任一项所述的基于增强现实的一体式手术导航方法，其特征在于，所述根据所述相对位置矩阵，将所述术区真实影像、所述虚拟3D器官模型影像及其指引图形生成并显示虚拟现实融合图像包括步骤：

5.一种基于增强现实的一体式手术导航系统，其特征在于，包括：

6.根据权利要求5所述的基于增强现实的一体式手术导航系统，其特征在于，所述终端设备还包括：

7.根据权利要求6所述的基于增强现实的一体式手术导航系统，其特征在于，所述终端设备还包括：

8.根据权利要求5-7任一项所述的基于增强现实的一体式手术导航系统，其特征在于，所述终端设备还包括：

9.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求4任一项所述的基于增强现实的一体式手术导航方法所执行的操作。