CN117813631A - 用于三维视图中基于深度的测量的系统和方法 - Google Patents

Abstract

一种系统可包括处理器和计算机可读指令存储其上的存储器。计算机可读指令在由处理器执行时使系统接收内窥镜校准数据，根据校准数据产生虚拟摄像头，产生内窥镜图像，接收内窥镜图像中的第一标记点和第二标记点，和确定是否已产生三维表面模型。如果已产生表面模型，则在虚拟摄像头中产生扰动。可在第一标记点和第二标记点之间产生表面模型上的曲线段，并且可产生包括曲线段和内窥镜图像的混合现实图像。

Description

用于三维视图中基于深度的测量的系统和方法

交叉引用的申请

本申请要求2022年2月15日提交的美国临时申请No.63/310,465和2021年8月10日提交的美国临时申请No.63/231,686的优先权和利益，该两个申请的标题都是“用于三维视图中基于深度的测量的系统和方法”，这两个申请以全文引用方式并入本文。

技术领域

本公开涉及这样的系统和方法：该系统和方法用于显示和测量三维图像中的点之间的表面穿越线。

背景技术

微创医疗技术旨在减少诊断或外科程序期间受损组织的数量，从而减少患者的恢复时间、不适和有害副作用。此类微创技术可以通过一个或多个外科切口或通过患者解剖结构中的自然孔道进行。通过这些切口或自然孔道，临床医生可以插入包括内窥镜成像系统的微创医疗器械，来捕获患者解剖结构内的组织图像。内窥镜成像系统可为三维成像系统，其提供组织的三维视频图像。用于精确测量和显示三维表面穿越线或形状的系统和方法可有助于执行一些微创程序。

发明内容

本发明的实例是通过在说明书之后的权利要求来概述的。与一些实例一致，系统可包括处理器和计算机可读指令存储在其上的存储器。计算机可读指令在由处理器执行时使系统接收内窥镜校准数据，根据校准数据产生虚拟摄像头，产生内窥镜图像，接收内窥镜图像中的第一标记点和第二标记点，和确定是否已产生三维表面模型。如果已产生表面模型，则在虚拟摄像头中产生扰动。可在第一标记点和第二标记点之间产生表面模型上的曲线段，并且可产生包括曲线段和内窥镜图像的混合现实图像。

应理解，前述总体描述和以下详细描述在本质上都是示例性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。在这方面中，对于本领域技术人员来说，本公开的附加方面、特征和优点通过以下详细描述将是显而易见的。

附图说明

图1是流程图，其示出根据一些实施例的产生混合现实图像的方法。

图2示出根据一些实施例的组织的一部分上标记点的图像。

图3A是如下的示意图：根据一些实施例的使用同时定位和建图(mapping)产生三维模型的过程。

图3B示出根据一些实施例的组织模型。

图3C示出根据一些实施例的图2的图像，其经修改以包括对在标记点之间的组织表面示踪的曲线段。

图4是根据一些实施例的在成像组织的表面上具有标记点的三维内窥镜图像。

图5是在标记点之间呈现直线的图4的内窥镜图像。

图6是在标记点之间呈现表面穿越线的图5的内窥镜图像。

图7是根据一些实施例的机器人辅助式医疗系统的简化图。

通过参考下面的详细描述，最大程度上理解本公开的实施例及其优点。应当理解，为了说明但不限制本公开的实施例的目的，相同附图标记用于表示在附图中的一个或多个附图中所示的相同要素。

具体实施方式

组织的三维表面模型可用于在内窥镜图像中在组织表面上的两个已识别点之间产生曲线段或“柔性标尺”。可产生混合现实图像，其包括实时内窥镜图像和曲线段。现有的测量工具和技术不能从多个视点捕获解剖区域的表面坡度。如下所述，产生虚拟摄像头且将虚拟摄像头的视点相对于内窥镜摄像头变化稍微不同的角度，这样可允许从另一个视点查看解剖区域。因此，虚拟摄像头使得在内窥镜视图的单个帧中不可见的表面坡度变得可见。

图1是流程图，其示出根据一些实施例的用于产生混合现实图像的方法100。方法100被示出为一组操作或过程。图1中所示的过程可按照与图1中所示的顺序不同的顺序执行，并且在方法100的一些实施例中可不执行所示过程中的一个或多个。此外，图1中未明确示出的一个或多个过程可被包括在所示方法之前、之后、之间或作为所示方法的一部分。在一些实施例中，方法100的过程中的一个或多个过程可——至少部分地——以存储在非暂时、有形机器可读的介质上的可执行代码的形式实现，该代码在由一个或多个处理器(例如，控制系统的处理器)运行时可使得一个或多个处理器执行过程中的一个或多个。

在过程101，接收内窥镜校准数据。内窥镜校准数据可从位于患者解剖结构内的内窥镜成像系统接收。所接收的内窥镜校准数据可包括内窥镜成像系统的固有参数(包括焦距、主点和透镜畸变)，和/或内窥镜成像系统的非固有参数(包括相对于世界坐标系和/或其他成像系统或位置示踪传感器的偏移量)。内窥镜成像系统可为产生立体视频或静止图像的三维成像系统。内窥镜成像系统可为机器人辅助式医疗系统的组件。例如，内窥镜成像系统可包括如图7所示的医疗系统700的图像捕获装置704。从立体图像中，可确定二维特征和深度图。

在过程102，可基于内窥镜校准数据的固有和非固有参数产生用于产生虚拟摄像头图像的虚拟摄像头。虚拟摄像头可模拟内窥镜(例如，图像捕获装置704)的行为，允许从这样的摄像头角度或位置查看患者解剖结(例如，介入区域或外科环境)构内的区域：该角度或位置不同于来自以物理方式定位在患者解剖结构内的内窥镜(例如，图像捕获装置704)的实时内窥镜视图的位置和/或取向。虚拟摄像头可具有与内窥镜相同的校准参数。

在过程104中，可通过内窥镜成像系统(例如，图像捕获装置704)产生的内窥镜图像数据产生内窥镜图像。内窥镜图像可为通过内窥镜成像系统捕获的外科环境的实时三维视频产生的三维图像。内窥镜图像可显示在机器人辅助式医疗系统的显示系统上。例如，内窥镜图像可显示在机器人辅助式医疗系统700的显示系统708上。在查看内窥镜图像时，查看者(例如操作员O)可想要确定三维内窥镜图像中横跨可见结构或点之间的解剖表面的距离或表面积。例如，操作员可想要确定表面修复网格的正确尺寸或可需要的缝合材料的长度。在一些实例中，操作员可想要测量诸如以下项的病理结构的三维长度或表面积：由凸起组织所指示的疝、肿瘤或穿过可见解剖表面的伤口。

为了测量三维图像中结构之间的表面穿越线，可标记在解剖表面上可见的点。在过程106，在内窥镜图像中接收第一标记点和第二标记点。例如，临床医生可使用用户输入装置在内窥镜图像上产生点。参考图7中的机器人辅助式医疗系统700，操作员O可操作控制系统706的一个或多个输入装置以在内镜图像上定位标记。例如，输入装置的移动可对应于在显示系统708上可见的内窥镜图像上可见的光标的移动。光标可位于图像上的某个位置处，并且可通过用户输入装置处的输入件(例如，握持手势、按下的按钮)将标记放置在该位置处。例如，图2示出三维内窥镜图像200中组织202的一部分上的组织标记。内窥镜图像可具有图像坐标系X₁、Y₁、Z₁。操作员可在组织202的表面上产生第一标记点204和第二标记点206。操作员可借助用户输入装置(例如，图7中控制系统706的用户输入装置)产生标记点204、206。响应操作员输入，用户输入装置可在X-Y维度上操纵二维光标。根据从三维内窥镜图像确定的深度图，可确定标记点204、206中每个点的Z尺寸(与内窥镜的远侧端部的距离)。在一些实例中，当在外科环境中测量长距离时，临床医生可放置第一标记点，然后平移内窥镜摄像头以便能够查看和放置第二标记点。当放置第二标记点时，第一标记点对内窥镜摄像头不可见。

在过程108，可为从显示系统接收的每个垂直同步信号产生混合现实(XR)图像帧。例如，混合现实帧率可与机器人辅助式医疗系统700的显示系统708的刷新率同步。混合现实图像可包括对内窥镜图像的标记点、注释或其他操作员或系统产生的增强形式。图2示出混合现实图像帧200，其注释点指示第一标记点204和第二标记点206。

在过程110，确定是否已产生三维表面模型。在一些实例中，可通过同时定位和建图(SLAM)产生三维表面模型。图3A示出使用SLAM技术产生三维网格表面模型的过程。在过程302，从内窥镜成像系统(例如，图像捕获装置704)接收立体视频。在过程304，可为立体视频的每一帧确定松散帧信息，其包括二维特征(例如，X-Y尺寸)和深度图(Z尺寸和到内窥镜远端的距离)。在一些实例中，显示的图像可具有1280x1024像素分辨率，深度图处于相同分辨率。在过程306，可使用二维特征和深度图来执行SLAM过程。SLAM过程可为递归过程，其包括借助迭代求解器创建三维和二维对应关系，更新截断符号距离函数(TSDF)和变形图，产生全局图和产生锚帧。在过程308，可产生三维组织示踪模型。在一些实例中，三维模型可为表面网格模型。例如，图3B示出由SLAM技术产生的三维组织模型350。组织模型可有配准到图像坐标系X₁、Y₁、Z₁的坐标系(X_M、Y_M、Z_M)。在其他实例中，三维模型可为带纹理的表面模型。SLAM技术可在图像捕获装置在患者解剖结构内移动时在手术中执行。在其他实例中，可使用其他成像技术在手术前产生三维表面模型。

再次参考图1，如果在过程110确定没有三维表面模型可用，则在过程118，将第一标记点和第二标记点之间的路径呈现为在标记点之间的直线二维线。参考图2，在没有三维表面模型可用的情况下，可在表面点204、206之间产生直线208。线208看起来是延伸通过组织202，而不是穿过表面。线208的任何尺寸或以线208为标尺进行的测量都不能准确测量点204与点206之间的表面穿越距离。在一些实例中，可只在X-Y平面上测量线208的长度，并且该长度可不包括深度(Z方向分量)。在一些实例中，在不考虑在标记点之间延伸的解剖表面的情况下，线的长度可具有三维长度，但可为点204、206之间的直线。

再次参考图1，如果在过程110确定三维表面模型可用，则在过程112可对虚拟摄像头进行扰动以允许临床医生从稍微改变的角度查看外科环境。例如，与实时内窥镜成像系统的视角相比，虚拟摄像头的视角或虚拟摄像头的倾斜角度可轻微倾斜或变化。因此，虚拟摄像头可从与实时内窥镜成像系统不同的角度查看包括标记点204、206和组织表面的混合现实图像(例如，图像帧200)。

在过程114，可在表面模型上的标记点之间产生三维曲线段。例如，参考图3B，如果已经为组织202产生表面模型350，则点204、206可位于模型350上，并且可在点204、206之间产生横跨表面模型的三维曲线段352。曲线段352的尺寸和形状以及使用线210进行的任何测量可更准确地反映组织202的轮廓形状和点204、206之间的表面穿越距离(与直线208相比)。

在过程116，曲线段可以被添加到内窥镜图像并且用于在过程108处产生更新的混合现实图像帧。例如，参考图3C，可将三维内窥镜图像200注释为包括在点204、206之间穿越组织202表面的曲线段352。跨越表面模型的曲线段允许计算表面距离，该距离例如可用于确定可需要的正确数量的修复材料，诸如表面修复网格或缝合材料。在一些实例中，曲线段可用于评估病理，诸如由凸起组织指示的疝。在一些实例中，可指示多个点并将该点用于创建多点线或多边形形状，可测量该多点线或多边形形状的长度或表面积。

在一些实例中，可在放置第一标记点和第二标记点之前产生表面模型。例如，如果临床医生在放置第一标记点时希望将第二标记点放置在内窥镜摄像头视场中不可见的位置，则在临床医生平移内窥镜摄像头以放置第二标记点时，可将投影的曲线段逐步添加到表面模型。虚拟摄像头还可或可选地经过拉远以显示外科环境的三维视图，其包括第一标记点和第二标记点以及连接该点的曲线段。在一些实例中，如果在解剖环境的不同位置已经标记多个点并产生多个曲线段，则虚拟摄像头可产生涵盖所有标记点和曲线段的虚拟视图，使得临床医生可了解所有段和与段相关的测量的概览(例如，鸟瞰图)。概览图像可在整个临床过程中显示在显示区域附近或在图中图显示区域中。因此，临床医生可避免忽视产生的段。

图4示出包括组织402的外科环境的立体内窥镜图像400。如以上过程106所述，可接收标记点A、B和C。如果尚未产生组织402的表面模型，则可根据过程118和图5所示而在点之间产生直线。例如，线段AB可看起来漂浮在组织之上，并且线段BC可看起来延伸通过组织。如果已产生组织402的表面模型，例如由SLAM过程产生的网格表面模型，则如图6所示，可根据过程114在点之间产生曲线。在图6中，曲线AB'和BC'更准确地描绘组织402的轮廓。曲线AB'和BC'穿越组织402的表面，且因此具有的长度不同于图5的直线AB和BC的长度。线AB'和BC'可用作柔性标尺或卷尺来确定标记点之间的距离。曲线AB'和BC'可允许更精确地测量点A、B、C之间的表面距离或多个点之间的波状表面积。

本文所述的系统和方法可借助如下机器人辅助式医疗系统来实现：该系统包括内窥镜成像系统、用于识别表面点的用户输入装置和用于显示呈现的内窥镜和混合现实图像的显示系统。图7是可与本文所述的系统和方法一起使用的机器人辅助式医疗系统700的简化图。在一些实施例中，系统700可适用于治疗、诊断和/或成像程序。虽然在本文中提供关于此类程序的一些实施例，但对医疗或外科器械以及医疗或外科方法的任何提及都不是限制性的。在本文中所述的系统、器械和方法可用于动物、人类尸体、动物尸体、人类或动物解剖结构的一部分、非外科诊断，以及用于工业系统和通用机器人、通用遥控或机器人医疗系统。例如，在本文中所述的系统、器械和方法可用于非医疗目的，其包括工业用途、通用机器人用途和操纵非组织工件。

如图7所示，系统700通常包括操纵器组件702。操纵器组件702用于在患者P上执行各种程序时操作医疗器械703(例如，外科器械)和医疗器械704(例如，图像捕获装置)。操纵器组件702可为遥控型、非遥控型或混合遥控型和非遥控型组件，该组件具有电机驱动和/或遥控的选择运动自由度和非电机驱动和/或非遥控的选择运动自由度。操纵器组件702被安装到手术或外科台T或定位在其附近。

用户控制系统706允许操作员(例如，如图7所示的外科医生或其他临床医生)查看介入部位并控制操纵器组件702。在一些实例中，用户控制系统706是外科医生控制台，其通常位于与手术或外科台T相同的房间中，诸如位于患者P所在的手术台的一侧处。然而，应当理解，操作员O可位于与患者P不同的房间或完全不同的建筑物中。即，一个或多个用户控制系统706可与操纵器组件702共同定位，或者用户控制系统可位于不同的位置处。多用户控制系统允许多于一个操作员以各种组合的方式控制一个或多个机器人辅助式操纵器组件。

用户控制系统706通常包括用于控制操纵器组件702的一个或多个输入装置。输入装置可包括任意数量的各种装置，诸如操纵杆、轨迹球、数据手套、扳机枪、手动控制器、语音识别装置、身体运动或存在传感器等。为了给操作员O提供直接控制医疗器械703、704的强烈感觉，输入装置可具有与相关医疗器械703、704相同的自由度。以这种方式，输入装置向操作员O提供临场感和输入装置与医疗器械703、704成一体的感知。

操纵器组件702支撑医疗器械703、704，并且可包括如下运动学操纵器支撑结构：一个或多个非伺服控制连杆机构(例如，可手动定位和锁定在适当位置的一个或多个连杆)和/或一个或多个伺服控制连杆机构(例如，可响应来自控制系统的命令而受控制的一个或多个连杆)，以及器械支架。操纵器组件702可任选地包括多个致动器或电机，该致动器或电机响应于来自控制系统(例如，控制系统710)的命令而驱动医疗器械703、704上的输入件。致动器可任选地包括驱动系统，该系统在联接到医疗器械703、704时可将医疗器械703、704推进到自然或外科方式创建的解剖孔道中。其它驱动系统可在多个自由度中移动医疗器械703、704的远侧端部，该自由度可包括三个线性运动自由度(例如，沿着X、Y、Z笛卡尔轴的线性运动)和三个旋转运动自由度(例如，围绕X、Y、Z笛卡尔轴的旋转)。另外，致动器可用于致动医疗器械703的可铰接端部执行器，该执行器用于在活检装置等的钳口中抓取组织。致动器位置传感器——诸如解析器、编码器、电位器和其他机构——可向系统700提供描述电机轴的旋转和取向的传感器数据。此位置传感器数据可用于确定由致动器操纵的对象的运动。操纵器组件702可定位其握住的器械703、704，使得在器械进入患者的入口处出现枢轴点。枢轴点可称为远程操纵中心。然后，操纵器组件702可操纵其握住的器械，使得器械可围绕远程操纵中心旋转，插入该入口和从该入口拉回，并围绕该器械轴的轴线旋转。

系统700还包括显示系统708，其用于显示由器械704产生的手术部位和医疗器械703的图像或表示。显示系统708和用户控制系统706可定向成使得操作员O能够以临场感的感知来控制医疗器械703、704和用户控制系统706。在一些实例中，显示系统708可呈现手术部位的图像，该图像是使用通过诸如以下的成像技术产生的图像数据在术前或术中记录的：计算机断层扫描(CT)、磁共振成像(MRI)、荧光镜检查、热影像技术、超声检查、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等。

系统700还包括控制系统710。控制系统710包括至少一个存储器714和至少一个计算机处理器712，该存储器和处理器用于在医疗器械703、704、用户控制系统706和显示系统708之间实现控制。控制系统710还包括编程指令(例如，存储指令的非暂时性机器可读介质)，该指令用于实现根据本文公开的方面所描述方法中的一些或全部，包括用于向显示系统708提供信息的指令。虽然在图7的简化原理图中将控制系统710示出为单个块，但是系统可包括两个或更多个数据处理电路，其中处理的一部分任选地在操纵器组件702上或其附近执行，处理的另一部分在用户控制系统706处执行等。控制系统710的处理器可执行与本文公开并在下更详细地描述的过程相对应的指令。可采用各种集中式或分布式数据处理架构中的任一种。类似地，编程指令可作为许多单独的程序或子程序来实现，或者该编程指令可集成到在本文中描述的机器人医疗系统的许多其他方面中。在一个实施例中，控制系统710支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。

操纵器组件702的移动可由控制系统710控制，使得将安装到操纵器组件702的器械的轴或中间部分被限制成安全运动通过微创外科进入部位或其他孔口。此类运动可包括例如轴沿轴向插入通过孔口位置、轴围绕其轴线的旋转，以及轴围绕邻近进入部位的枢轴点的枢转运动。在一些情况下，可抑制轴的如下过度横向运动：撕裂邻近孔口的组织或意外扩大进入部位。对操纵器组件702在进入部位处的运动进行约束，而此类约束的一部分或全部可以是使用抑制不当运动的机械操纵器关节连杆机构来施加的，或者可以是使用数据处理和控制技术来部分或全部施加的。在一些实施例中，控制系统710可接收来自医疗器械704的力和/或扭矩反馈。响应于反馈，控制系统710可向用户控制系统706发送信号。在一些实例中，控制系统710可发送信号，该信号指令操纵器组件702的一个或多个致动器移动医疗器械707、704。

在描述中，阐述描述一些实施例的具体细节。为了提供对实施例的全面理解，阐述许多具体细节。然而，对于本领域技术人员来说，显而易见，可在没有这些特定细节中的一些或全部细节的情况下实施一些实施例。在本文中公开的具体实施例旨在是说明性的，但不是限制性的。本领域技术人员可实现尽管在本文中没有具体描述但也在本公开的范围和精神范围内的其他要素。

参考一个实施例、实现方式或应用详细描述某些要素可选择地被包括在——无论在何时切实可行——未具体示出或描述的其他实施例、实现方式或应用中。例如，如果参考一个实施例详细描述要素，且没有参考第二实施例描述该要素，则可认为该要素被包括在第二实施例中。因此，为了避免在以下描述中的不必要重复，可将接合一个实施例、实现方式或应用示出和描述的一个或多个要素合并到其他实施例、实现方式或方面中，但如下情况例外：另有明确描述，一个或多个要素将使实施例或实现方式无功能，或者要素中的两个或多个提供冲突的功能。并非所示的所有过程都是可在所公开的方法的所有实施例中执行的。另外，未明确说明的一个或多个过程可被包括在所说明过程之前、之后、之间或作为其一部分。在一些实施例中，一个或多个过程可由控制系统执行，或者可至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式实现，该代码在由一个或多个处理器运行时可使一个或多个处理器执行一个或多个过程。

如同本公开所涉及领域的技术人员通常认为的那样，充分设想对所描述的装置、器械、方法进行的任何改变和另外修改以及对本公开的原理进行的任何另外应用。此外，本文提供的尺寸用于特定的实例，并且设想不同大小、尺寸和/或比率可用于实现本公开的概念。为了避免不必要的描述重复，根据一个说明性实施例描述的一个或多个组件或动作可以被使用或在适合情况下从在其他说明性实施例中省略。为简洁起见，将不单独描述这些组合的众多版本。为简单起见，在一些情况下，贯穿附图使用相同附图标记来指代相同或同一部件。

在本文中所述的系统和方法可适用于对包括如下项的各种解剖系统中的任一个进行成像：肺、结肠、肠、胃、肝脏、肾脏和肾盏、脑、心脏、包括脉管系统的循环系统等。虽然在本文中关于医疗程序提供一些实施例，但对医疗或外科器械以及医疗或外科方法的任何提及都不受限。例如，在本文中所述的器械、系统和方法可用于非医疗目的，包括工业用途、通用机器人用途和感测或操纵非组织工件。其他实例应用包括美容、人体或动物解剖结构成像、从人体或动物解剖结构收集数据以及培训医疗或非医疗人员。其他实例应用包括供用于从人类或动物解剖结构中移除的组织(不返回到人类或动物解剖结构)进行的程序以及在人类或动物尸体上执行程序。此外，这些技术还可用于外科和非外科医学治疗或诊断程序。

本公开的实施例中的一个或多个要素可在如下软件中实现：用于在诸如控制处理系统的计算机系统的处理器上执行的软件。当以软件形式实现时，本公开的实施例的要素可为用于执行各种任务的代码段。程序或代码段可存储在处理器可读存储介质或装置中，该程序或代码段可通过在传输介质或通信链路上的载波中呈现的计算机数据信号来下载。处理器可读存储装置可包括可存储信息的任何介质，包括光学介质、半导体介质和/或磁性介质。处理器可读存储装置的实例包括电子电路；半导体器件、半导体存储器件、只读存储器(ROM)、快闪存储器、可擦可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储装置。可通过诸如互联网、内联网的计算机网络下载代码段。可采用各种集中式或分布式数据处理架构中的任一种。编程指令可以实现为许多独立程序或子程序，或者该编程指令可以被集成到在本文中所述的系统的许多其他方面中。在一些实例中，控制系统可支持无线通信协议，诸如蓝牙、红外数据通信(IrDA)、家庭射频技术、IEEE 802.11、数字增强型无线通信(DECT)、超宽带(UWB)、无线个域网和无线遥测。

需注意，所呈现的处理和显示可不必然与任何特定计算机或其他装置相关。根据在本文中的教导，各种通用系统可与程序一起使用，或者可证明构造更专用的设备来执行所描述的操作是方便的。各种这些系统所需的结构将作为权利要求书中的要素出现。此外，没有参考任何特定编程语言来描述本发明的实施例。应当理解，可使用各种编程语言来实现在本文中所述的本发明的教导。

本公开描述了各种器械、器械的部分和解剖结构在三维空间中的状态。如本文所用，术语位置是指对象或对象的一部分在三维空间(例如，沿着笛卡尔x、y和z坐标的三个平移自由度)中的定位。如本文所用，术语取向是指对象或对象的一部分的旋转放置(例如，在诸如滚动、俯仰和/或偏转的一个或多个旋转自由度中)。如本文所用，术语位姿是指对象或对象的一部分在至少一个平移自由度中的位置，以及该对象或对象的一部分在至少一个旋转自由度(例如，最多六个总自由度)中的取向。如本文所用，术语形状是指沿对象测量的一组位姿、位置或取向。

虽然已在附图中描述和示出本发明的一些说明性实施例，但应理解，此类实施例仅是说明性的，而不限制本广泛的发明，并且本发明的实施例不限于所示和描述的具体构造和布置，因为本领域通常技术人员可想到各种其他修改形式。

Claims (20)

1.一种系统，包括：

处理器；和

存储器，其具有存储在其上的计算机可读指令，所述计算机可读指令在由所述处理器执行时使所述系统：

接收用于内窥镜的内窥镜校准数据；

根据所述校准数据产生虚拟摄像头；

产生内窥镜图像；

接收所述内窥镜图像中的第一标记点和第二标记点；和

确定是否已产生三维表面模型；

如果已产生表面模型，则在所述虚拟摄像头中产生扰动；

在所述表面模型上在所述第一标记点和所述第二标记点之间产生曲线段；并且

产生包括所述曲线段和所述内窥镜图像的混合现实图像。

2.根据权利要求1所述的系统，其中，所述虚拟摄像头中的所述扰动产生不同于内窥镜视点的虚拟摄像头视点。

3.根据权利要求1所述的系统，其中，如果未产生表面模型，则将所述第一标记点和所述第二标记点之间的路径呈现为所述混合现实图像中的直线。

4.根据权利要求1所述的系统，其中，所述三维表面模型包括通过同时定位和建图(SLAM)产生的网格模型。

5.根据权利要求4所述的系统，其中，所述SLAM模型是在所述内窥镜位于患者解剖结构内时在手术中产生的。

6.根据权利要求1所述的系统，其中，所述虚拟摄像头和所述内窥镜具有相同校准参数。

7.根据权利要求1所述的系统，其中，所述虚拟摄像头中的所述扰动能够是相对于所述内窥镜的虚拟摄像头倾斜角的变化。

8.根据权利要求1所述的系统，其中，所述计算机可读指令还使所述系统确定所述曲线段的长度。

9.根据权利要求8所述的系统，其中，所述计算机可读指令还使所述系统确定用于执行程序的修复材料的量。

10.根据权利要求1所述的系统，其中，所述第一标记点和所述第二标记点是用于确定多点线的长度或多边形形状的表面积的一组点的一部分。

11.一种存储指令的非暂时性机器可读介质，所述指令在由一个或多个处理器运行时使所述一个或多个处理器：

接收用于内窥镜的内窥镜校准数据；

根据所述校准数据产生虚拟摄像头；

产生内窥镜图像；

接收所述内窥镜图像中的第一标记点和第二标记点；和

确定是否已产生三维表面模型；

如果已产生表面模型，则在所述虚拟摄像头中产生扰动；

在所述表面模型上在所述第一标记点和所述第二标记点之间产生曲线段；并且

产生包括所述曲线段和所述内窥镜图像的混合现实图像。

12.根据权利要求11所述的非暂时性机器可读介质，其中，所述虚拟摄像头中的所述扰动产生不同于内窥镜视点的虚拟摄像头视点。

13.根据权利要求11所述的非暂时性机器可读介质，其中，如果未产生表面模型，则将所述第一标记点和第二标记点之间的路径呈现为所述混合现实图像中的直线。

14.根据权利要求11所述的非暂时性机器可读介质，其中，所述三维表面模型包括通过同时定位和建图(SLAM)产生的网格模型。

15.根据权利要求14所述的非暂时性机器可读介质，其中，所述SLAM模型是在所述内窥镜位于患者解剖结构内时在手术中产生的。

16.根据权利要求11所述的非暂时性机器可读介质，其中，所述虚拟摄像头和所述内窥镜具有相同校准参数。

17.根据权利要求11所述的非暂时性机器可读介质，其中，所述虚拟摄像头中的所述扰动能够是相对于所述内窥镜的虚拟摄像头倾斜角的变化。

18.根据权利要求11所述的非暂时性机器可读介质，在由一个或多个处理器运行时根据所述曲线段的长度确定表面距离。

19.根据权利要求18所述的非暂时性机器可读介质，在由一个或多个处理器运行时确定用于执行程序的修复材料的量。

20.根据权利要求11所述的非暂时性机器可读介质，其中，所述第一点和所述第二点是用于确定多点线的长度或多边形形状的表面积的一组点的一部分。