CN115363751A - 术中解剖结构指示方法 - Google Patents

Abstract

本发明提出一种使用增强现实来实现术中解剖结构指示方法，进行外科手术期间，根据指针设置进入点并根据需要调整进入区域，知道进入的确切区域可以使外科医生减少受伤组织的体积。具体包括如下步骤：S1、获取患者图像数据；S2、坐标变换步骤；S3、指针内容和位置的确定；S4、增强现实显示处理；S5、术中解剖结构指示步骤。外科医生移动指针以使指针的延长线沿感兴趣的解剖结构的轮廓移动，并勾勒出即将进行的外科手术进入的区域。

Description

术中解剖结构指示方法

技术领域

本发明涉及虚拟现实领域，尤其涉及一种用于使用增强现实来术中解剖结构指示方法。

背景技术

基于特定患者的术前断层扫描数据创建手术空间的三维图像，并允许形成虚拟的3D模型，根据断层扫描结果对患者进行检查，这种方法对于培训新手外科医生特别有希望，它可以帮助他们掌握微创手术的技能。

计算机增强的手术导航成像系统将标记物放置在患者身体或体模上的方法。CT和/或MRI依靠患者解剖结构的三维光栅图像中有关标记位置的信息的存在。该方法的缺点是在出于诊断目的而没有标记的情况下执行CT和/或MRI的情况下，用标记物进行重复的CT和/或MRI与诊断的总成本增加，额外的时间成本有关，而在CT的情况下，患者的放射线暴露也会增加。基于上述问题，本发明实现用于使用增强现实来术中解剖结构指示方法，可以在进行外科手术期间，根据指针设置进入点并根据需要调整进入区域，从而减少患者的受创面积。

发明内容

本发明的目的在于实现一种使用增强现实来实现术中解剖结构指示方法，包括如下步骤：

S1、获取患者图像数据：患者进行计算机断层扫描或磁共振成像程序，断层扫描仪的工作站将以DICOM格式生成患者个体解剖结构的三维光栅图像，对即将进行的手术中外科医生感兴趣的解剖结构进行分割和三维重建；

S2、坐标变换步骤：确定患者进行诊断的立体摄像机的坐标系与断层摄影机的坐标系之间的坐标的变换矩阵，将三维重建后的3D模型的坐标与在立体摄像机的坐标系中指定患者的位置进行锚定，并随着医生移动视点位置，继续保持锚定在患者解剖结构的正确位置；

S3、指针内容和位置的确定：外科医生可以控制3D模型的可见性和透明度，确定指针的位置；在指针上还可以设置扩展标签，医生可以搜索与患者相关联的扩展标签，扩展标签被配置为适合3D模型以识别解剖结构，进行切口的点或用于医疗程序的其他映射或标记；识别患者，识别现有的患者风险，识别药物过敏，识别已知并发症或其他数据；

S4、增强现实显示处理：设置显示比例尺指示符和虚拟标尺，该比例尺指示符指示显示解剖结构的尺寸，在屏幕上显示解剖结构和用于指示其长度的比例尺的功能；

S5、术中解剖结构指示步骤：搜索与患者相关联的指针，获取扩展标签，并投影到增强现实设备的镜头上以形成单个图形视图，以便医生进行手术。

优选的，步骤S3中扩展标签的作用：

A)使用扩展标签对获取的医学图像进行预标记,检测解剖组织的边缘；

B)扩展标签用于标记获取的医学图像的多个解剖组织层,扩展标签被关联以形成指导外科医生的标签组,在一个有序的组中协同工作，以指导外科医生从一个扩展标签到下一个扩展标签,帮助外科医生记住不寻常的顺序；

C)扩展标签引导外科医生通过安全路线,多个链接在一起的扩展标签用于指示通过患者解剖结构的手术路径；

D)扩展标签中还可以嵌入患者标记。

优选的，扩展标签具有远离扩展标签延伸的几何形状的标签扩展，几何形状可以是旗帜、多边形、矩形框、金字塔或其他向外科医生显示信息的扩展；

患者标记位于患者体内并且在由AR设备获取的患者解剖组织的图像或视频中被识别,患者标记包括患者识别信息、待操作的解剖组织、患者定向标记和/或图像反转防止标签。

优选的，步骤S4包括：改变刻度指示器的显示范围的功能时，可以改变刻度指示器的显示范围，将显示区域从默认显示的第一范围扩展到第二范围，或者相反，可以缩小显示区域，刻度指示器与其他显示的对象一起移动，以便可以从所需角度进行观察，从而可以更准确地确定要切除的区域。

优选的，虚拟标尺移动和/或旋转，放大或缩小虚拟标尺，可以弯曲以匹配感兴趣的解剖结构的表面的曲线，在屏幕上显示滑动条，并且可以通过操作滑动条来改变虚拟标尺在深度方向上的位置；

虚拟标尺与显示解剖结构的情况一样，可以改变显示颜色和/或透明度,在透明状态和非透明状态之间切换,通过预定输入来切换虚拟标尺的有效和无效操作。

优选的，步骤S5包括：外科医生将指针移到身体表面上方或在手术区域内并使其倾斜，同时观察指针的三维模型；对于限制手术进入的区域，专注于屏幕或AR设备上的图像，外科医生移动指针以使指针的延长线沿感兴趣的解剖结构的轮廓移动，并勾勒出即将进行的外科手术进入的区域。

附图说明

图1为本发明的用于使用增强现实来术中解剖结构指示方法。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案作进一步地说明。

在下文中，将参考附图详细描述本发明所提出的方法,旨在实现用于使用增强现实来术中解剖结构指示方法，进行外科手术期间，根据指针设置进入点并根据需要调整进入区域，知道进入的确切区域可以使外科医生减少受伤组织的体积。使用增强现实技术进行手术的设备包括一个摄像头单元，该摄像头单元安装在手术区域上方，并且包括增强现实相机和ToF摄像头，在红外波长范围内操作的立体相机和AR设备。该AR设备包含连接至摄像头的控制面板。在一个示例中，AR设备允许医学专业人员通过将增强现实图像投影到半透明透镜上的透镜来查看增强现实图像或获取的医学图像。叠加图像导致视图与通过半透明透镜或半透明光学成像区域查看的真实世界场景的合成。这种叠加图像的能力存在于增强现实耳机中，以创建患者数据，例如在现实世界中手术前拍摄的图像全息图融合到患者的解剖组织中。

本发明的术中导航指示方法的具体方法包括：

S1、获取患者图像数据：在计划外科手术的阶段，患者要进行计算机断层扫描或磁共振成像程序。作为此过程的结果，断层扫描仪的工作站将以DICOM格式生成患者个体解剖结构的三维光栅图像。从现有技术已知DICOM标准-一种医学行业标准，其规范数字医学图像和元数据的创建，存储，传输和可视化。一组DICOM文件被传输到计划，管理和控制外科治疗结果的计算机。使用获得的数据，放射科医生使用软件对即将进行的手术中外科医生感兴趣的所有解剖结构进行分割(轮廓)和三维重建(建立三维表面模型)。这种解剖结构的例子是肿瘤，血管，骨骼的骨头，患者身体的表面。此外，基于获得的3D模型，外科医生计划即将进行的手术。

S2、坐标变换步骤：在外科手术导航的阶段，确定患者进行诊断的立体摄像机的坐标系与断层摄影机的坐标系之间的坐标的变换矩阵的确定过程。这种变换是必需的，因为在断层扫描仪坐标系中指定了根据CT和/或MRI结果构造的3D表面模型的坐标，在立体摄像机的坐标系中指定患者的位置。获取的医学图像与AR设备在真实世界场景或空间中识别的患者解剖结构相关联或锚定到该解剖结构。锚定将获取的医学图像或其他相关虚拟图像(包括增强控制)锚定或锚定到由AR设备注册的可见现实世界中的固定点。包括如果医生移动视点位置，则所获取的医学图像保持锚定在患者解剖结构的正确位置并且不会在医生的视野中四处移动。

S3、指针内容和位置的确定：在手术干预阶段，外科医生可以控制单个模型(如皮肤，骨骼，器官，其中的赘生物，血管)的可见性和透明度，从而了解其相对于指针的位置，即使这些解剖结构在手术视野中是看不见的。外科医生可以使用以下显示导航指针模型的模式：指针和患者从侧面观察的视图；从指针的尖端位置观察患者；CT和/或MRI平面截面上的指针模型视图。外科医生还可以测量从指针的尖端的当前位置到患者解剖结构的选定三维模型(例如到肿瘤)的最短距离。在导航系统的操作过程中，在注册之后，外科医生通常需要调整工作台的高度，旋转和配置，同时使患者相对于立体摄像机移位。

同时，在指针上还可以设置扩展标签，医生可以搜索与所获取的医学图像或放射线图像的一层的位置相关联的扩展标签。扩展标签被配置为适合所获取的医学图像或放射线图像的三维(3D)结构以识别与所执行的医学程序相关联的解剖结构。扩展标签是简单的几何形状，例如圆形、正方形、三角形，或者二维或三维更复杂的形状，例如所讨论的解剖组织的轮廓。

扩展标签的作用：

A)使用扩展标签对获取的医学图像进行预标记。扩展标签覆盖了医生松散标记的患者解剖结构的一部分。检测解剖组织的边缘或使用机械模式识别来扩展或收缩扩展标签以适应解剖结构。稍后，当进行医疗程序、诊断或手术时，医生可以查看解剖结构(例如脾脏)上的扩展标签，以进一步确保清楚地识别用于治疗的结构。

B)扩展标签用于标记获取的医学图像的多个解剖组织层。例如，扩展标签可以识别所获取医学图像的每一层中的不同结构以及在患者解剖结构的这些单独层中发生的各种治疗。此外，扩展标签被关联以形成指导外科医生的标签组。一个更详细的例子是需要手术的疾病的一组解剖结构，这些结构可以在一个有序的组中协同工作，以指导外科医生从一个扩展标签到下一个扩展标签。这消除了忽略需要手术、跳过重要程序等的解剖组织的需要。同样，为了帮助外科医生记住不寻常的顺序，它提供了一个顺序来处理所选顺序中的不同结构。

C)扩展标签引导外科医生通过安全路线，该路线是精致的并且避免结构例如动脉在结构损坏时引起问题的结构。通过这种方式，外科医生可以在手术开始之前制定手术路线。多个链接在一起的扩展标签用于指示通过患者解剖结构的手术路径。例如，标签用于指示外科医生在穿过多层时计划在哪里切割。扩展标签还向外科医生指示横向切割的位置，内窥镜的移动位置。这允许外科医生在使用扩展标签和获取的医学图像时，在手术期间更准确地提前规划手术路线。这降低了手术风险并改善了患者的整体治疗效果。在某些情况下，获取的医学和射线照相图像与多个扩展标签一起协调以表示单个解剖结构遍历。因此，每个标签在单独的层中标识其解剖结构。将获取的医学图像和增强标签投影到增强现实头戴式耳机的镜头上，以形成佩戴AR设备的医疗专业人员的单一图形视图。结果，所获取的医学图像和扩展标签看起来好像图像直接覆盖在患者的解剖结构上。在替代配置中，扩展标签具有远离扩展标签延伸的几何形状的标签扩展。几何形状的示例是旗帜、多边形、矩形框、金字塔或其他向外科医生显示信息的扩展。标签扩展中显示的信息识别在解剖组织上执行的程序，识别患者，识别现有的患者风险，识别药物过敏，并与患者的解剖组织直接相关。识别已知并发症或其他数据，即与患者或医疗程序无关。

D)扩展标签中还可以嵌入患者标记：患者标记位于患者体内并且在由AR设备获取的患者解剖组织的图像或视频中被识别。患者标记包括患者识别信息、待操作的解剖组织、患者定向标记和/或图像反转防止标签。患者方位标记和图像反转防止标签可以彼此分离，或者可以与患者标记组合以形成一个标记或标签。视觉上可扫描的符号，例如附在患者身上的条形码，以搜索患者的身份并搜索一个相关联的获取的医学图像或多个相关的获取的图像。患者方位标记用于确保获取的医学图像针对患者的解剖结构。将放射线图像中的患者标记和图像定向标记与所获取的医学图像匹配以将所获取的医学图像的定向与患者解剖结构上的患者定向标记对齐。当将获取的医学图像与患者的解剖结构对齐时，这避免了定向或校准错误。当使用图像翻转标签执行对齐时，防止图像翻转或翻转。

在该技术的一种配置中，条形码、QR码或特殊标记用于标记正确的患者以进行医疗、标记在患者的右侧、或在正确的肢体上进行医疗标记。患者解剖结构上的光学可扫描代码或标记也用于查看患者获取的医学图像和/或解剖结构是否匹配提供的患者标记。将获取的医学图像与相关联的患者数据进行比较。所获取的医学图像可以基于患者标记与患者的解剖组织相关联。这意味着可以基于患者的身份和手术对象的解剖组织检索正确获取的医学图像。所获取的医学图像可以部分地基于患者方位标记或图像确定阻止标签锚定或固定到患者的解剖组织。或者，可以通过识别患者解剖组织的拓扑结构将所获取的医学图像覆盖在患者解剖结构上。通过使该过程自动化，可以减少错误并显着减少昂贵的手术室时间。还可以检索与患者标记相关联的扩展标签和所获取的医学或放射图像的位置，从而允许查看覆盖在患者解剖组织上的扩展标签。所获取的医学图像和增强标签可以投影到增强现实头戴式耳机的镜头上，以形成虚拟地覆盖在所显示的患者的解剖结构上的单个图形视图。在一种配置中，内窥镜视频馈送被组合成单个图形视图。扩展标签还用于识别内窥镜视频馈送中3D结构的大小和形状，并识别内窥镜在患者解剖结构中的位置。

捕获患者解剖结构的实时图像,提供可见患者解剖结构的实时视频供分析。分析视频以识别环境方向线索，例如肢体位置、边缘检测、深度检测或捕获的视频图像中的特征。测量或定义由相机拍摄的患者解剖组织的形态测量。形态测量是关于肢体或患者解剖组织的形状、宽度、高度、深度和轮廓的度量。这些形态测量是相对或绝对测量，为其提供了参考对象或测量键。确定从实况视频或图像测量的形态测量是否匹配与使用患者标记检索的患者解剖结构相关联的预先测量的形态测量。例如，在人体内代表的患者腿可能具有特定的长度、宽度、高度、形状或特定的形态测量，这些测量可以与其他预先测量的形态测量相匹配。然后如患者标记和患者解剖结构所定义的那样检索与患者解剖结构相关联的所获取医学图像。获取的医学图像使用形态学和确认的形态学测量与患者的解剖组织对齐。它还向医生和医疗专业人员提供所获得的医学图像与由形态测量定义的患者解剖结构一致的通知。该方法确保正确的患者和正确的身体结构(正确的腿或手臂等)正被正确获取的医学图像操纵。除了使用患者标记检查患者身份之外，检索到的信息或图像还与之前执行的形态学测量进行比较，以比较真实患者在现实世界中看到的解剖组织。

在成像过程中分析形态测量以识别医疗问题，或者对患者的解剖组织进行成像然后回顾形态测量以治疗问题是更准确的患者治疗。可以带来和避免可能的错误。如上所述，患者标记在患者解剖组织的图像中被识别，并且患者标记是识别患者的信息和存储在数据库中的预先测量的形态测量值，包括测量值。一旦使用虚拟扫描、手镯、RFID或形态测量法获得患者身份，则与患者身份和其他患者信息相匹配的获得的医学图像就是身份和获得的医学图像沿着匹配的扩展标签放置。这些扩展标签是根据由形态测量法确定的识别标签和/或患者身份来加载和引导的。使用患者标记和位置将获得的医学图像的图像和扩展标签组合成单个视图。此外，患者方位标记被使用或与所获取的医学或射线照相图像中的图像方位标签相匹配，以在患者的解剖结构上准确地定位所获取的医学图像。包括扩展处理器的系统还执行识别图像反转标签的操作。获取的医学图像和患者的解剖结构可以使用图像反转标签(例如，旋转、翻转或翻转)对齐，并且获取的医学图像是患者的解剖结构。确保您正确地面向您的组织。

S4、增强现实显示处理：设置显示比例尺指示符，该比例尺指示符指示被显示为三维医学图像的被检体的解剖结构的尺寸。该刻度指示器不是在平面上显示，而是以跟随解剖结构的表面的方式显示(换言之，以映射到3D对象的表面的方式)。在下面的描述中，将分别描述刻度指示器的具体示例。在该示例中，刻度指示器具有网格图案，并且显示在以肿瘤部分为中心的预定范围内。网格的模式不受限制，但是具体地，可以使用其中布置有多个四边形的网格显示模式。网格的四边形可以是任何尺寸。还优选地，准备多个这样的尺寸并且可以改变设置，使得可以将其中之一用作默认显示。对于每个网格形状，可以采用诸如六边形的多边形而不是四边形。

在该实施例中，比例尺指示符沿着三维显示的解剖结构的表面显示，即以映射到3D对象表面的方式显示。在这种类型的医学图像的显示中，可以想到在屏幕上显示平面刻度，以便知道对象的尺寸。在这样的平尺的情况下，掌握大致尺寸没有特别的问题。但是，在本实施方式的手术中，切除包括肿瘤部在内的器官的一部分的情况下，希望能够准确地把握整个器官的切除区域。即，如本实施方式那样，在将比例尺映射并显示在被检体的表面时，可以更准确地知道被检体的表面的长度。即由于能够将物体表面的长度作为切除装置应移动的距离，因此，根据能够确认该长度的本实施方式的结构，精度更高。可以进行切除手术。

具有改变刻度指示器的显示范围的功能时，可以改变刻度指示器71的显示范围。在该示例中，将4×4网格显示刻度指示器改变为比其大一个尺寸的6×6刻度指示器，并且扩大了显示范围。例如，当输入形状复杂的切削范围时，操作者通过移动光标来指定切削范围的输入方法是有用的，但是输入时间相对较长。另一方面，根据可以通过上述操作改变的配置，可以容易地改变显示范围，这是有用的。可以将显示区域从默认显示的第一范围扩展到第二范围，或者相反，可以缩小显示区域。此外，通过重复用于将显示从第一范围改变为第二范围的输入，曾经改变的显示范围返回到原始显示范围。

屏幕上显示的三维医学图像可以在任何方向上旋转，移动和放大/缩小。当以这种方式改变图像的显示时，刻度指示器也与其他显示的对象一起移动。以此方式，将三维显示的三维医学图像与刻度指示器一起显示，以便可以从所需角度进行观察，从而可以更准确地确定要切除的区域。

刻度指示器不必限于网格形状(网格形状)，可以使用指示物体的长度的线性刻度指示器。尽管未示出，但是可以显示两个正交轴的刻度指示器，而不是一个轴。这是因为即使使用这样的刻度指示器，如果将其映射并显示在解剖结构的表面上，也可以如上所述获得根据本发明的一个实施例的作用和效果。关于在解剖结构的表面上显示刻度指示器，例如，指示器被显示为好像其被附接到解剖结构的表面上，但是当操作者操作该指示器对象时，可以将其配置为调整大小(拉伸)。在这种情况下，可以进行各种操作，但是可以以收缩操作为例。一旦显示，显示在解剖结构表面上的刻度指示器会在操作员操作时映射到解剖结构的表面。刻度指示器可配置为移动(换句话说，在保持原位的同时沿解剖结构的表面移动。由于这样的操作是可能的，例如，可以调节刻度指示器的刻度位置并改变开始位置。例如，刻度指示器还应显示在远离感兴趣的解剖结构的位置，而不是最初粘在解剖结构的表面(适当的话，操作者)上，它可能处于可移动状态和/或调整大小)，然后触摸它(例如)，可以显示它以使其粘在解剖结构的表面上。通过再次触摸(一个示例)，可以返回到远离解剖结构的状态。

可替代地，可以在远离屏幕的位置处执行手势输入等。刻度指示器可以移动屏幕上的位置或改变该方向。作为示例，刻度指示器可以绕旋转中心二维或三维旋转。尽管不受限制，但是旋转中心可以设置在刻度指示器的重心或其周围部分(例如，在长度方向上的中点附近)。屏幕上显示的刻度指示器可以通过操作员触摸和操作触摸面板上的刻度指示器来移动和/或旋转，或者可以被配置为诸如鼠标或轨迹球的输入装置。当然，代替将旋转中心设置在刻度指示器的重心处或周围，也可以绕任意点(例如，在标尺的末端附近)(其他标尺，探针等)旋转。可以放大或缩小虚拟比例尺。例如，当放大或缩小所显示的三维医学图像时，可以相应地以相同的比例来放大或缩小虚拟比例尺。另一方面，不管三维医学图像的放大/缩小，仅虚拟比例尺可以独立地放大/缩小。作为示例，虚拟刻度尺可以被配置为使得仅摇动刻度尺的长度方向扩展和收缩，并且竖直方向上的长度保持恒定。刻度指示器也可以以弯曲状态显示。标尺可以弯曲以匹配感兴趣的解剖结构的表面的曲线，例如，标尺可以以弧形显示，以便轻轻地跟随器官表面的曲线。在屏幕上显示滑动条，并且可以通过操作滑动条来改变刻度指示器在深度方向上的位置。关于刻度指示器和探针的显示，还优选的是，与显示解剖结构的情况一样，可以改变显示颜色和/或透明度。通过触摸(轻击)，可以在透明状态和非透明状态之间切换。此外，可以通过预定输入(例如，通过触摸，点击等进行选择)来切换虚拟秤的有效和无效操作。

S5、增强现实手术术中解剖结构指示步骤如下进行：使用虚拟图像相机接收患者解剖结构的图像。在患者接受治疗时收集患者解剖结构的图像。搜索与患者的解剖结构相关联的所获取的医学图像。获取的医学图像的一个示例是MRI、fMRI或CT扫描。获取的医学图像与患者的解剖结构相关联。该关联将获取的医学图像锚定或固定到患者解剖组织中的参考点，该参考点与获取的医学图像中的相同解剖组织点重合。然后，搜索与所获取的医学图像中的一层的位置相关联的扩展标签。此扩展标签表示解剖结构、进行切口的点或用于医疗程序的其他映射或标记。将获取的医学图像和增强标签投影到AR设备上以形成单个图形视图。

注册后，外科医生使用导航指针搜索感兴趣的解剖结构，它们的访问点，它们相对于访问点的位置方向，到它们的距离以及限制它们的区域手术通道(组织分离)。外科医生将指针移到身体表面上方(在手术通道开始之前)或在手术区域内(在手术通道期间)并使其倾斜，同时观察指针的三维模型，指针的延长线和屏幕或AR设备中患者解剖结构的三维模型。

对于限制手术进入的区域，专注于屏幕或AR设备上的图像，外科医生移动导航指针以使因此指针的延长线沿感兴趣的解剖结构的轮廓移动。在这种情况下，外科医生手中的指针沿感兴趣的解剖结构的投影线向身体表面移动，并勾勒出即将进行的外科手术进入的区域。将视线从屏幕移动到手术区域，观察指针在手术区域中的移动，外科医生看到即将进行的手术通道区域的边界。

在确定手术通道的位置和/或区域后，外科医生交替注视手术现场和AR设备，外科医生暂停导航的使用并以传统方式进行操作，直到为了继续访问，他需要弄清楚方向或访问距离，选择新的访问点或调整访问区域。因此，在整个操作过程中，外科医生都可以使用增强现实系统，同时，可能需要彼此独立地出现在操作期间查看解剖结构的三维模型的需要和使用指针进行导航的需要。

本实施例提出的技术解决方案允许通过加快对感兴趣的解剖结构的搜索来减少手术时间，并通过将手术通道的面积减小到最小所需尺寸，同时能够减少了并发症的数量，并减少了患者术后康复的时间。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (6)

1.一种使用增强现实来实现术中解剖结构指示方法，包括如下步骤：

S1、获取患者图像数据：患者进行计算机断层扫描或磁共振成像程序，断层扫描仪的工作站将以DICOM格式生成患者个体解剖结构的三维光栅图像，对即将进行的手术中外科医生感兴趣的解剖结构进行分割和三维重建；

S2、坐标变换步骤：确定患者进行诊断的立体摄像机的坐标系与断层摄影机的坐标系之间的坐标的变换矩阵，将三维重建后的3D模型的坐标与在立体摄像机的坐标系中指定患者的位置进行锚定，并随着医生移动视点位置，继续保持锚定在患者解剖结构的正确位置；

S3、指针内容和位置的确定：外科医生可以控制3D模型的可见性和透明度，确定指针的位置；在指针上还可以设置扩展标签，医生可以搜索与患者相关联的扩展标签，扩展标签被配置为适合3D模型以识别解剖结构，进行切口的点或用于医疗程序的其他映射或标记；识别患者，识别现有的患者风险，识别药物过敏，识别已知并发症或其他数据；

S4、增强现实显示处理：设置显示比例尺指示符和虚拟标尺，该比例尺指示符指示显示解剖结构的尺寸，在屏幕上显示解剖结构和用于指示其长度的比例尺的功能；

S5、术中解剖结构指示步骤：搜索与患者相关联的指针，获取扩展标签，并投影到增强现实设备的镜头上以形成单个图形视图，以便医生进行手术。

2.根据权利要求1所述的使用增强现实来实现术中解剖结构指示方法，其特征在于，步骤S3中扩展标签的作用：

A)使用扩展标签对获取的医学图像进行预标记,检测解剖组织的边缘；

B)扩展标签用于标记获取的医学图像的多个解剖组织层,扩展标签被关联以形成指导外科医生的标签组,在一个有序的组中协同工作，以指导外科医生从一个扩展标签到下一个扩展标签,帮助外科医生记住不寻常的顺序；

C)扩展标签引导外科医生通过安全路线,多个链接在一起的扩展标签用于指示通过患者解剖结构的手术路径；

D)扩展标签中还可以嵌入患者标记。

3.根据权利要求2所述的使用增强现实来实现术中解剖结构指示方法，其特征在于，扩展标签具有远离扩展标签延伸的几何形状的标签扩展，几何形状可以是旗帜、多边形、矩形框、金字塔或其他向外科医生显示信息的扩展；

患者标记位于患者体内并且在由AR设备获取的患者解剖组织的图像或视频中被识别,患者标记包括患者识别信息、待操作的解剖组织、患者定向标记和/或图像反转防止标签。

4.根据权利要求1所述的使用增强现实来实现术中解剖结构指示方法，其特征在于，步骤S4包括：改变刻度指示器的显示范围的功能时，可以改变刻度指示器的显示范围，将显示区域从默认显示的第一范围扩展到第二范围，或者相反，可以缩小显示区域，刻度指示器与其他显示的对象一起移动，以便可以从所需角度进行观察，从而可以更准确地确定要切除的区域。

5.根据权利要求4所述的使用增强现实来实现术中解剖结构指示方法，其特征在于，虚拟标尺移动和/或旋转，放大或缩小虚拟标尺，可以弯曲以匹配感兴趣的解剖结构的表面的曲线，在屏幕上显示滑动条，并且可以通过操作滑动条来改变虚拟标尺在深度方向上的位置；

虚拟标尺与显示解剖结构的情况一样，可以改变显示颜色和/或透明度,在透明状态和非透明状态之间切换,通过预定输入来切换虚拟标尺的有效和无效操作。

6.根据权利要求1所述的使用增强现实来实现术中解剖结构指示方法，其特征在于，步骤S5包括：外科医生将指针移到身体表面上方或在手术区域内并使其倾斜，同时观察指针的三维模型；对于限制手术进入的区域，专注于屏幕或AR设备上的图像，外科医生移动指针以使指针的延长线沿感兴趣的解剖结构的轮廓移动，并勾勒出即将进行的外科手术进入的区域。

Images