CN115829978A - 内窥镜图像处理方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本申请提供了一种内窥镜图像处理方法、装置、电子设备及计算机存储介质，该方法包括：获取由内窥镜拍摄的第一图像；根据第一图像构建与第一图像所包含的物体图像相对应的三维场景；根据内窥镜的位姿信息，确定内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿，其中，第一坐标系为三维场景的坐标系；根据内窥对象的位姿信息，确定内窥对象的三维解剖模型在第一坐标系中的第二位姿；根据第一位姿和第二位姿，在第一坐标系中对第一图像、三维场景、内窥镜三维模型和三维解剖模型进行融合，获得融合三维图像。本申请提供的内窥镜图像处理方法可以将二维内窥图像转换为三维图像显示，使内窥图像的显示更为直观，因此具有较高的实用性。

Description

内窥镜图像处理方法、装置、电子设备及计算机存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种内窥镜图像处理方法、装置、电子设备及计算机存储介质。

背景技术

内窥镜手术是一种通过内窥镜来做的手术，内窥镜是一种具有光学镜头、图像传感、机械装置、光源照明等功能的，一种较为先进的检查仪器。内窥对象在内窥镜检查时，可以将内窥镜伸入口腔，进入到胃部等位置，并通过仪器来检查内窥对象的身体内是否发生了病变。

目前，内窥镜图像处理微创手术中，医生根据内窥镜反映的二维图像确定手术途径与手术方案。

但是，目前内窥镜反映的图像为二维图像，丢失了对手术场景的深度感知，而且视野较小，存在大范围视觉盲区，医生为了避免内窥镜手术时损伤重要组织只能通过记忆和经验来判断盲区内的解剖结构，容易出现误判，手术效率和安全性低，因此现有的内窥镜图像处理方法实用性较低。

发明内容

有鉴于此，本申请提供一种内窥镜图像处理方法、装置、电子设备及计算机存储介质，以至少部分解决上述问题。

根据本申请的第一方面，提供了一种内窥镜图像处理方法，该方法包括：获取由内窥镜拍摄的第一图像；根据所述第一图像构建与所述第一图像所包含的物体图像相对应的三维场景；根据所述内窥镜的位姿信息，确定所述内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿，其中，所述第一坐标系为所述三维场景的坐标系；根据内窥对象的位姿信息，确定所述内窥对象的三维解剖模型在所述第一坐标系中的第二位姿；根据所述第一位姿和所述第二位姿，在所述第一坐标系中对所述第一图像、所述三维场景、所述内窥镜三维模型和所述三维解剖模型进行融合，获得融合三维图像。

在一种可能的实现方式中，所述根据所述第一图像构建与所述第一图像所包含的物体图像相对应的三维场景，包括：对所述第一图像进行去高光处理，获得第二图像；对所述第二图像所包含的物体图像进行特征提取和特征匹配，获得特征信息；对所述第二图像所包含的物体图像进行深度估计，获得深度信息；根据所述第二图像、所述特征信息和所述深度信息，构建所述三维场景。

在一种可能的实现方式中，所述根据所述内窥镜的位姿信息，确定所述内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿，包括：获取第二坐标系和所述第一坐标系之间的第一转换矩阵，其中，所述第二坐标系为机械臂坐标系，所述机械臂加持所述内窥镜，所述机械臂被构造为带动所述内窥镜运动；通过所述第一转换矩阵，将所述内窥镜在所述第二坐标系中的所述位姿信息转换为所述内窥镜在所述第一坐标系中的位姿信息；根据所述内窥镜在所述第一坐标系中的位姿信息，确定所述内窥镜对应的内窥镜三维模型在所述第一坐标系中的第一位姿。

在一种可能的实现方式中，所述方法还包括：获取第一标定点在第三坐标系中的第一空间坐标和第二标定点在第三坐标系中的第二空间坐标，并根据所述第一空间坐标和所述第二空间坐标，确定所述内窥对象在所述第二坐标系中的所述位姿信息，其中，第三坐标系为相机坐标系，所述第一标定点位于所述机械臂上，所述第二标记点位于内窥对象上；所述根据内窥对象的位姿信息，确定所述内窥对象的三维解剖模型在所述第一坐标系中的第二位姿，包括：根据所述第一转换矩阵和所述内窥对象在所述第二坐标系中的所述位姿信息，确定所述第二位姿。

在一种可能的实现方式中，所述三维解剖模型为基于所述内窥对象体内不同位置的梯度进行着色，且采用不透明度增强容积显示的三维解剖模型。

在一种可能的实现方式中，所述方法还包括：预测所述内窥镜在所述内窥对象内部的运动方向；根据所述运动方向对所述内窥镜进行碰撞检测；若所述内窥镜在所述内窥对象内部发生碰撞，则停止所述内窥镜在所述内窥对象内部的运动。

在一种可能的实现方式中，所述根据所述运动方向对所述内窥镜进行碰撞检测，包括：针对所述内窥镜构建第一虚拟包围盒，其中，所述内窥镜位于所述第一虚拟包围盒内；分别针对所述内窥对象内部的每个子内窥对象构建相对应的第二虚拟包围盒，其中，所述第二虚拟包围盒对应的所述子内窥对象位于该第二虚拟包围盒内；针对每个所述第二虚拟包围盒，判断在所述运动方向上，所述第一包围盒是否与该第二包围盒相交，若是，则确定所述内窥镜会在所述运动方向上与该第二虚拟包围盒对应的子内窥对象发生碰撞。

根据本申请的第二方面，提供了一种内窥镜图像处理装置，该装置包括：获取模块，用于获取由内窥镜拍摄的第一图像；构建模块，用于根据所述第一图像构建与所述第一图像所包含的物体图像相对应的三维场景；第一确定模块，用于根据所述内窥镜的位姿信息，确定所述内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿，其中，所述第一坐标系为所述三维场景的坐标系；第二确定模块，用于根据内窥对象的位姿信息，确定所述内窥对象的三维解剖模型在所述第一坐标系中的第二位姿；融合模块，用于根据所述第一位姿和所述第二位姿，在所述第一坐标系中对所述第一图像、所述三维场景、所述内窥镜三维模型和所述三维解剖模型进行融合，获得融合三维图像。

根据本申请的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的方法对应的操作。

根据本申请的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。

根据本申请提供的内窥镜图像处理方法，通过内窥镜拍摄的第一图像构建三维场景，并通过内窥镜和内窥对象的位姿信息确定对应的三维模型在该三维场景中的位姿，最终将第一图像、三维场景、内窥镜三维模型和三维解剖模型融合展示，实现了内窥镜二维图像的三维显示，由于通过内窥镜图像构建三维场景，因此具有深度感知，且由于融合三维图像中包括内窥对象的三维解剖模型，因此可以直观的展示当前内窥镜位于内窥对象中的位置和姿态，使医生在操作内窥镜时无需根据记忆和经验判断解剖结构和内窥镜的位姿，提高了内窥手术的效率和安全性，因此该内窥图像处理方法实用性较高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种内窥图像处理方法的流程图；

图2是本申请实施例提供的一种三维场景构建方法的流程图；

图3是本申请实施例提供的一种三维解剖模型的示意图；

图4是本申请实施例提供的一种碰撞检测方法的流程图；

图5是本申请实施例提供的一种内窥镜图像处理装置的示意图；

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1是本申请实施例提供的一种内窥图像处理方法的流程图，如图1所示，该方法包括如下步骤101至步骤105：

步骤101、获取由内窥镜拍摄的第一图像。

获取由内窥镜拍摄的内窥对象内部的第一图像，该图像为二维图像，内窥镜实时拍摄内窥对象内部的图像，示例性的，该第一图像可以为人体内部组织的内窥图像，例如：第一图像为内窥镜在人体中的胃内拍摄的胃内一部分组织的二维图像。

需要说明的是，内窥镜可以为仅作为内窥功能的单独的内窥镜，也可以为携带手术器械的内窥镜，在此本申请不作限定。

步骤102、根据第一图像构建与第一图像所包含的物体图像相对应的三维场景。

根据第一图像中所包含的物体的图像，构建该物体的三维场景，具体构建方法可以为基于SLAM技术的三维场景重建，或者其他方法，在此本申请不作限定。例如：第一图像为人体内的胃的内部组织的图像，则根据该图像，构建内窥镜所处位置的三维场景，即胃内部的三维场景。

步骤103、根据内窥镜的位姿信息，确定内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿。

第一坐标系为三维场景坐标系，获取内窥镜的位姿信息，根据该位姿信息确定内窥镜对应的三维模型在三维场景坐标系中与该位姿信息对应的第一位姿，即内窥镜在三维场景中对应的位置和姿态，例如：若现实中内窥镜位于胃的内部，则根据现实中内窥镜在胃中的位姿，确定在构建的胃的虚拟三维场景中，内窥镜的三维模型在虚拟的胃中对应的位置和姿态。

步骤104、根据内窥对象的位姿信息，确定内窥对象的三维解剖模型在第一坐标系中的第二位姿。

根据内窥对象的位置和姿态，确定在构建的三维场景的坐标系中，内窥对象对应的三维解剖模型所处的位置和姿态。

步骤105、根据第一位姿和第二位姿，在第一坐标系中对第一图像、三维场景、内窥镜三维模型和三维解剖模型进行融合，获得融合三维图像。

根据第一位姿和第二位姿，即内窥镜的三维模型在三维场景中对应的位置和姿态和内窥对象对应的三维解剖模型在三维场景坐标系中所处的位置和姿态，将构建的三维场景、内窥镜的三维模型、内窥对象对应的三维解剖模型和第一图像进行融合，获得融合三维图像，该融合三维图像可以模拟现实中内窥对象和内窥镜之间的相对位置关系，即直观显示内窥镜位于内窥对象内部的位置。

融合方法可以为基于医疗级裸眼3D显示系统的增强现实立体显示技术，并通过合理设置显示透明度及颜色等手段进行融合，或者其他融合方法，具体方法本申请不作限定。

在本申请实施例中，通过内窥镜拍摄的第一图像构建三维场景，并通过内窥镜和内窥对象的位姿信息确定对应的三维模型在该三维场景中的位姿，最终将第一图像、三维场景、内窥镜三维模型和三维解剖模型融合展示，实现了内窥镜二维图像的三维显示，由于通过内窥镜图像构建三维场景，因此具有深度感知，且由于融合三维图像中包括内窥对象的三维解剖模型，因此可以直观的展示当前内窥镜位于内窥对象中的位置和姿态，使医生在操作内窥镜时无需根据记忆和经验判断解剖结构和内窥镜的位姿，提高了内窥手术的效率和安全性，因此该内窥图像处理方法实用性较高。

图2是本申请实施例提供的一种三维场景构建方法的流程图，如图2所示，在根据第一图像构建与第一图像所包含的物体图像相对应的三维场景时，可以通过如下步骤201至步骤204实现三维场景的构建：

步骤201、对第一图像进行去高光处理，获得第二图像。

对第一图像进行去高光，获得去高光后的第一图像，去高光方法包括但不限于基于概率估计的内镜视觉SLAM方法生成对抗学习的内窥镜图像去高光的方法，具体去高光方法，本申请实施例不作限定。

步骤202、对第二图像所包含的物体图像进行特征提取和特征匹配，获得特征信息。

对去高光后的图像中的包括的物体的图像进行特征提取与匹配，该特征提取与匹配方法包括但不限于基于Hessian矩阵的特征提取法，具体特征提取方法本申请不做限定。将提取后的特征点作为特征信息。

步骤203、对第二图像所包含的物体图像进行深度估计，获得深度信息。

对去高光后的图像中的包括的物体的图像进行深度估计，由于内窥镜一般都是单目拍摄，因此该深度估计方法一般为无监督单目深度估计方法，或者可以应用其他深度估计方法，具体方法本申请不做限定。

步骤204、根据第二图像、特征信息和深度信息，构建三维场景。

根据去高光后的图像、特征信息和深度估计信息，为去高光后的图像补充深度和细节特征，实现基于单目内窥镜影像的实时三维场景重建。例如：第二图像为内窥对象的胃内部组织的图像，为该二维图像补充第三维度的深度信息，并补充血管等特征点，最终实现了胃内部组织的三维图像构建。

在本申请实施例中，将内窥镜拍摄的第一图像进行去高光、特征提取匹配和深度估计等操作，最终实现了构建第一图像中所包括的物体的三维场景，由于该三维场景具有深度信息，且可以通过三维影像更加直观的展示内窥镜所拍摄位置，因此可以使医生具有深度感知，提高了内窥手术的安全性，因此具有较高的实用性。

在一种可能的实现方式中，在根据内窥镜的位姿信息，确定内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿时，可以：获取第二坐标系和第一坐标系之间的第一转换矩阵，然后通过第一转换矩阵，将内窥镜在第二坐标系中的位姿信息转换为内窥镜在第一坐标系中的位姿信息，并根据内窥镜在第一坐标系中的位姿信息，确定内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿。

第二坐标系为机械臂坐标系，机械臂的末端加持内窥镜，机械臂运动时可以带动内窥镜在内窥对象内部运动，从而到到内窥的效果。

获取夹持内窥镜的机械臂的坐标系和所构建的三维场景坐标系之间的第一转换矩阵，需要说明的是，由于三维场景是根据内窥镜所拍摄的第一图像构建，因此根据内窥镜的外参矩阵可以计算出所构建的三维场景坐标系和内窥镜之间的对应关系，且由于内窥镜和机械臂固定连接，因此可以计算出内窥镜和机械臂之间的坐标转换关系，从而可以根据内窥镜的对应关系得出机械臂坐标系(第二坐标系)和三维场景坐标系(第一坐标系)之间的第一转换矩阵。

根据内窥镜在第二坐标系中的位姿信息，通过第一转换矩阵将该位姿信息转换至第一坐标系中，获得该内窥镜在第一坐标系中对应的位姿信息，内窥镜在第二坐标系中的位姿信息可以通过机器人运动学求解，即根据机器人各轴的旋转角度确认内窥镜的位姿。根据内窥镜在第一坐标系中对应的位姿信息，构建内窥镜对应的内窥镜三维模型，并确定该内窥镜三维模型在第一坐标系中的位置和姿态。

在本申请实施例中，根据内窥镜的位姿信息，确定内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿，从而可以直观的展示内窥镜在内窥对象内部的位姿，为医生提供直观的内窥镜影像显示，避免了医生操作内窥镜时根据记忆和经验判断内窥镜的位置，提高了手术时的安全性，因此具有较高的实用性。

在一种可能的实现方式中，该方法还包括获取第一标定点在第三坐标系中的第一空间坐标和第二标定点在第三坐标系中的第二空间坐标，并根据第一空间坐标和第二空间坐标，确定内窥对象在第二坐标系中的位姿信息。

在上述基础上，在根据内窥对象的位姿信息，确定内窥对象的三维解剖模型在第一坐标系中的第二位姿时，可以根据第一转换矩阵和内窥对象在第二坐标系中的位姿信息，确定第二位姿。

第三坐标系为相机坐标系，相机固定设置于机械臂外部，第一标定点位于机械臂上，第二标记点位于内窥对象的外部，例如：可以在内窥对象的身体上确定第二标记点。该第二标记点一般为多个标记点。

根据相机拍摄的第一标记点的图像，即第一标记点在相机坐标系中的第一空间坐标，可以确定机械臂位于相机坐标系中的位姿。根据相机拍摄的第二标记点的图像，即第二标记点在相机坐标系中的第二空间坐标，可以确定内窥对象位于相机坐标系中的位姿。根据内窥对象位于相机坐标系中的位姿和机械臂位于相机坐标系中的位姿，可以确定机械臂和内窥对象之间的相对位置关系，即内窥对象位于第二坐标系中的位姿信息。

通过第一转换矩阵，将内窥对象位于第二坐标系中的位姿信息转换至三维场景坐标系(第一坐标系)中，获得内窥对象在三维场景坐标系中的位姿信息，从而可以根据该位姿信息，确定内窥对象对应的三维解剖模型在三维场景坐标系中的第二位姿。

或者，可以通过光学定位的辅助机械臂的空间配准方法，确定内窥对象与机械臂坐标系的坐标映射，并基于高精度标记点的手术注册方法，识别各标记点在三维场景坐标系下的坐标信息，并计算三维场景坐标系与内窥对象之间的转换关系，然后采用高精度标记点检测和定位算法，实现对标记点的定位及追踪，且基于迭代最近点(ICP)算法的空间点云配准技术，实现内窥镜的高精度定位。

在本申请实施例中，根据内窥对象的位姿信息，确定内窥对象的三维解剖模型在第一坐标系中的第二位姿，可以确定内窥对象的三维解剖模型在三维场景中的具体位置，从而可以直观的显示出构建的三维场景在内窥对象内部的具体位置，无需医生根据经验确定位置，降低了内窥镜手术的风险，因此具有较高的实用性。

在一种可能的实现方式中，三维解剖模型为基于内窥对象体内不同位置的梯度进行着色，且采用不透明度增强容积显示的三维解剖模型，示例性的，图3是本申请实施例提供的一种三维解剖模型的示意图，如图3所示，左边为现有的解剖模型，右边为基于体内不同位置的梯度进行着色，且采用不透明度增强容积显示的三维解剖模型。由于内窥对象内部不同组织之间的梯度不同，因此通过该方法可以直观的显示出内窥对象的内部结构，如图3右边图像所示。

应理解，具体的三维解剖模型也可以通过基于深度剖离(Depth peeling)的Multi-pass绘制机制进行生成，三维解剖模型的内部组织可以通过基于重要性驱动的局部背景融合显示机制生成，三维解剖模型的具体生成方法在此不再赘述。

在本申请实施例中，三维解剖模型为基于内窥对象体内不同位置的梯度进行着色，且采用不透明度增强容积显示的三维解剖模型，从而直观的展示内窥对象的内部结构，因此可以更为直观的向医生展示三维场景位于内窥对象内部的位置，以及该三维影像所处位置与其他内部组织之间的关系，减少了医生出现误判的情况发生，提高了内窥镜手术的安全性。

在一种可能的实现方式中，该方法还可以预测内窥镜在内窥对象内部的运动方向，然后根据运动方向对内窥镜进行碰撞检测，若内窥镜在内窥对象内部发生碰撞，则停止内窥镜在内窥对象内部的运动。

在融合三维图像的基础上，根据机械臂反馈的内窥镜的运动方向和速度实时预测其运动轨迹，并预判是否会与内窥对象内部发生碰撞，若预测结果为会发生碰撞，则停止机械臂的运动，从而可以停止内窥镜的运动。

在本申请实施例中，预测内窥镜的运动方向，并根据该运动方向进行碰撞检测，可以有效的避免内窥镜在内窥对象内部的碰撞，提高了内窥镜手术的安全性。

图4是本申请实施例提供的一种碰撞检测方法的流程图，如图4所示，根据运动方向对内窥镜进行碰撞检测时，可以通过如下步骤401至步骤403进行检测：

步骤401、针对内窥镜构建第一虚拟包围盒。

对内窥镜设置第一虚拟包围盒，由于内窥镜的几何特性，第一虚拟包围盒一般为树状层次包围盒，该第一虚拟包围盒将内窥镜的所有结构包围，即内窥镜位于包围盒的内部。

步骤402、分别针对内窥对象内部的每个子内窥对象构建相对应的第二虚拟包围盒。

对内窥对象内部的子内窥对象分别设置第二虚拟包围盒，每个第二虚拟包围盒将对应的子内窥对象完全包围，即每个窥子对象处于一个第二虚拟包围盒中，例如：子内窥对象可以为内窥对象的内部组织，对各内部组织设置包围盒。

步骤403、针对每个第二虚拟包围盒，判断在运动方向上，第一包围盒是否与该第二包围盒相交，若是，则确定内窥镜会在运动方向上与该第二虚拟包围盒对应的子内窥对象发生碰撞。

在预测的运动方向上，判断第一虚拟包围盒和各第二虚拟包围盒是否相交，若相交，则判定为内窥镜在内窥对象的内部发生碰撞。

应理解，虚拟包围盒可以设置有多种形式，包括但不限于AABB(aligned axisbounding box)、包围球(spheres)、OBB(oriented bounding box)和k-DOP(discreteorientation polytope)等，可以根据需要设定虚拟包围盒的物体的几何形状确定使用的包围盒的具体形式，也可以在碰撞检测的预处理阶段可以针对每一个包围盒树的非叶子节点建立一个包围盒链表，从而可以检测时根据距离来选择合适的包围盒进行检测，具体包围盒的选择，本申请不作限定。

在本申请实施例中，通过层次包围盒方法对内窥镜进行碰撞检测，避免了内窥镜在内窥对象内部与子内窥对象发生碰撞的情况发生，避免了在内窥镜手术中对子内窥对象造成伤害，提高了内窥镜手术的安全性。

图5是本申请实施例提供的一种内窥镜图像处理装置的示意图，如图5所示，该装置500包括：

获取模块501，用于获取由内窥镜拍摄的第一图像。

构建模块502，用于根据第一图像构建与第一图像所包含的物体图像相对应的三维场景。

第一确定模块503，用于根据内窥镜的位姿信息，确定内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿，其中，第一坐标系为三维场景的坐标系。

第二确定模块504，用于根据内窥对象的位姿信息，确定内窥对象的三维解剖模型在第一坐标系中的第二位姿。

融合模块505，用于根据第一位姿和第二位姿，在第一坐标系中对第一图像、三维场景、内窥镜三维模型和三维解剖模型进行融合，获得融合三维图像。

在本申请实施例中，获取模块501可用于执行上述方法实施例中的步骤101，构建模块502可用于执行上述方法实施例中的步骤102，第一确定模块503可用于执行上述方法实施例中的步骤103，第二确定模块504可用于执行上述方法实施例中的步骤104，融合模块505可用于执行上述方法实施例中的步骤105。

在一种可能的实现方式中，构建模块502，可以用于对第一图像进行去高光处理，获得第二图像；对第二图像所包含的物体图像进行特征提取和特征匹配，获得特征信息；对第二图像所包含的物体图像进行深度估计，获得深度信息；根据第二图像、特征信息和深度信息，构建三维场景。

在一种可能的实现方式中，第一确定模块503，可以用于获取第二坐标系和第一坐标系之间的第一转换矩阵，其中，第二坐标系为机械臂坐标系，机械臂加持内窥镜，机械臂被构造为带动内窥镜运动；通过第一转换矩阵，将内窥镜在第二坐标系中的位姿信息转换为内窥镜在第一坐标系中的位姿信息；根据内窥镜在第一坐标系中的位姿信息，确定内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿。

在一种可能的实现方式中，内窥镜图像处理装置500，还可以获取第一标定点在第三坐标系中的第一空间坐标和第二标定点在第三坐标系中的第二空间坐标，并根据第一空间坐标和第二空间坐标，确定内窥对象在第二坐标系中的位姿信息，其中，第三坐标系为相机坐标系，第一标定点位于机械臂上，第二标记点位于内窥对象上；且第二确定模块504，可以用于根据第一转换矩阵和内窥对象在第二坐标系中的位姿信息，确定第二位姿。

在一种可能的实现方式中，三维解剖模型为基于内窥对象体内不同位置的梯度进行着色，且采用不透明度增强容积显示的三维解剖模型。

在一种可能的实现方式中，内窥镜图像处理装置500，还可以预测内窥镜在内窥对象内部的运动方向；根据运动方向对内窥镜进行碰撞检测；若内窥镜在内窥对象内部发生碰撞，则停止内窥镜在内窥对象内部的运动。

在一种可能的实现方式中，内窥镜图像处理装置500，还可以针对内窥镜构建第一虚拟包围盒，其中，内窥镜位于第一虚拟包围盒内；分别针对内窥对象内部的每个子内窥对象构建相对应的第二虚拟包围盒，其中，第二虚拟包围盒对应的子内窥对象位于该第二虚拟包围盒内；针对每个第二虚拟包围盒，判断在运动方向上，第一包围盒是否与该第二包围盒相交，若是，则确定内窥镜会在运动方向上与该第二虚拟包围盒对应的子内窥对象发生碰撞。

需要说明的是，上述内窥镜图像处理装置内的各模块之间的信息交互、执行过程等内容，由于与前述内窥镜图像处理方法实施例基于同一构思，具体内容可参见前述内窥镜图像处理方法实施例中的叙述，此处不再赘述。

参照图6，示出了根据本申请实施例的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。

如图6所示，该电子设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。

其中：

处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。

通信接口604，用于与其它电子设备或服务器进行通信。

处理器602，用于执行程序610，具体可以执行上述内窥镜图像处理方法实施例中的相关步骤。

具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。

处理器602可能是中央处理器CPU，或者是图形处理器GPU(Graphics ProcessingUnit)，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；一个或多个GPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个GPU以及一个或多个ASIC。

存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序610具体可以用于使得处理器602执行前述任一实施例中的内窥镜图像处理方法。

程序610中各步骤的具体实现可以参见前述任一内窥镜图像处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在本申请实施例中，通过内窥镜拍摄的第一图像构建三维场景，并通过内窥镜和内窥对象的位姿信息确定对应的三维模型在该三维场景中的位姿，最终将第一图像、三维场景、内窥镜三维模型和三维解剖模型融合展示，实现了内窥镜二维图像的三维显示，由于通过内窥镜图像构建三维场景，因此具有深度感知，且由于融合三维图像中包括内窥对象的三维解剖模型，因此可以直观的展示当前内窥镜位于内窥对象中的位置和姿态，使医生在操作内窥镜时无需根据记忆和经验判断解剖结构和内窥镜的位姿，提高了内窥手术的效率和安全性，因此该内窥图像处理方法实用性较高。

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一方法对应的操作。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的内窥镜图像处理方法。此外，当通用计算机访问用于实现在此示出的内窥镜图像处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的内窥镜图像处理方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (10)

1.一种内窥镜图像处理方法，其特征在于，包括：

获取由内窥镜拍摄的第一图像；

根据所述第一图像构建与所述第一图像所包含的物体图像相对应的三维场景；

根据所述内窥镜的位姿信息，确定所述内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿，其中，所述第一坐标系为所述三维场景的坐标系；

根据内窥对象的位姿信息，确定所述内窥对象的三维解剖模型在所述第一坐标系中的第二位姿；

根据所述第一位姿和所述第二位姿，在所述第一坐标系中对所述第一图像、所述三维场景、所述内窥镜三维模型和所述三维解剖模型进行融合，获得融合三维图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像构建与所述第一图像所包含的物体图像相对应的三维场景，包括：

对所述第一图像进行去高光处理，获得第二图像；

对所述第二图像所包含的物体图像进行特征提取和特征匹配，获得特征信息；

对所述第二图像所包含的物体图像进行深度估计，获得深度信息；

根据所述第二图像、所述特征信息和所述深度信息，构建所述三维场景。

3.根据权利要求1所述的方法，其特征在于，所述根据所述内窥镜的位姿信息，确定所述内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿，包括：

获取第二坐标系和所述第一坐标系之间的第一转换矩阵，其中，所述第二坐标系为机械臂坐标系，所述机械臂加持所述内窥镜，所述机械臂被构造为带动所述内窥镜运动；

通过所述第一转换矩阵，将所述内窥镜在所述第二坐标系中的所述位姿信息转换为所述内窥镜在所述第一坐标系中的位姿信息；

根据所述内窥镜在所述第一坐标系中的位姿信息，确定所述内窥镜对应的内窥镜三维模型在所述第一坐标系中的第一位姿。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：获取第一标定点在第三坐标系中的第一空间坐标和第二标定点在第三坐标系中的第二空间坐标，并根据所述第一空间坐标和所述第二空间坐标，确定所述内窥对象在所述第二坐标系中的所述位姿信息，其中，第三坐标系为相机坐标系，所述第一标定点位于所述机械臂上，所述第二标记点位于内窥对象上；

所述根据内窥对象的位姿信息，确定所述内窥对象的三维解剖模型在所述第一坐标系中的第二位姿，包括：

根据所述第一转换矩阵和所述内窥对象在所述第二坐标系中的所述位姿信息，确定所述第二位姿。

5.根据权利要求1所述的方法，其特征在于，所述三维解剖模型为基于所述内窥对象体内不同位置的梯度进行着色，且采用不透明度增强容积显示的三维解剖模型。

6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

预测所述内窥镜在所述内窥对象内部的运动方向；

根据所述运动方向对所述内窥镜进行碰撞检测；

若所述内窥镜在所述内窥对象内部发生碰撞，则停止所述内窥镜在所述内窥对象内部的运动。

7.根据权利要求6所述的方法，其特征在于，所述根据所述运动方向对所述内窥镜进行碰撞检测，包括：

针对所述内窥镜构建第一虚拟包围盒，其中，所述内窥镜位于所述第一虚拟包围盒内；

分别针对所述内窥对象内部的每个子内窥对象构建相对应的第二虚拟包围盒，其中，所述第二虚拟包围盒对应的所述子内窥对象位于该第二虚拟包围盒内；

针对每个所述第二虚拟包围盒，判断在所述运动方向上，所述第一包围盒是否与该第二包围盒相交，若是，则确定所述内窥镜会在所述运动方向上与该第二虚拟包围盒对应的子内窥对象发生碰撞。

8.一种内窥镜图像处理装置，其特征在于，包括：

获取模块，用于获取由内窥镜拍摄的第一图像；

构建模块，用于根据所述第一图像构建与所述第一图像所包含的物体图像相对应的三维场景；

第一确定模块，用于根据所述内窥镜的位姿信息，确定所述内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿，其中，所述第一坐标系为所述三维场景的坐标系；

第二确定模块，用于根据内窥对象的位姿信息，确定所述内窥对象的三维解剖模型在所述第一坐标系中的第二位姿；

融合模块，用于根据所述第一位姿和所述第二位姿，在所述第一坐标系中对所述第一图像、所述三维场景、所述内窥镜三维模型和所述三维解剖模型进行融合，获得融合三维图像。

9.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一所述的内窥镜图像处理方法。

10.一种计算机存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一所述的内窥镜图像处理方法。

Images