CN115068114A - 用于在医生控制台显示虚拟手术器械的方法及医生控制台 - Google Patents

Abstract

本说明书涉及内窥镜手术技术领域，具体地公开了一种用于在医生控制台显示虚拟手术器械的方法及医生控制台，其中，该方法包括：获取医生控制台的主控制臂的图像；根据所述主控制臂的图像，确定所述主控制臂的姿态数据；基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，以在所述医生控制台的立体监视器中显示虚拟指令器械图像。上述方案通过在立体监视器中显示虚拟指令器械图像，可以便于医生及时发现误操作，及时发现器械故障，辅助医生操作，提高手术效率，提高手术质量和成功率，改善医生和患者的手术体验。

Description

用于在医生控制台显示虚拟手术器械的方法及医生控制台

技术领域

本说明书涉及内窥镜手术技术领域，特别涉及一种用于在医生控制台显示虚拟手术器械的方法及医生控制台。

背景技术

在现有内窥镜医疗机器人手术中，医生通过医生控制台中的主控制臂和脚踏等对处于内窥镜手术环境中的手术器械进行控制操作，需要医生的手部动作和脚踏动作切换配合。医生控制台中的立体监视器中显示有内窥镜手术环境中的手术器械的图像。对于医生的脚步动作及手部动作，医生在操作时只能凭培训或者以往经验中的肌肉记忆进行，很容易误操作，影响手术质量和成功率。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本说明书实施例提供了一种用于在医生控制台显示虚拟手术器械的方法及医生控制台，以解决现有技术中仅凭借立体监视器中的内窥镜图像进行手术时容易误操作的问题。

本说明书实施例提供了一种用于在医生控制台显示虚拟手术器械的方法，包括：获取医生控制台的主控制臂的图像；根据所述主控制臂的图像，确定所述主控制臂的姿态数据；基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，以在所述医生控制台的立体监视器中显示虚拟指令器械图像。

在一个实施例中，该方法还包括：获取医生控制台的脚踏图像和/或操作者的脚部图像；根据所述脚踏图像生成脚踏位置数据，和/或根据所述脚部图像生成脚部位置数据，以在所述立体监视器中显示脚踏区域和/或脚部区域。

在一个实施例中，该方法还包括：当所述医生控制台的一个或多个脚踏被有效踩踏时，在所述立体监视器中对所述脚踏区域中被有效踩踏的一个或多个脚踏进行突出显示。

在一个实施例中，所述主控制臂的图像包括双目摄像头采集的主控制臂的左目图像和右目图像。

在一个实施例中，图像采集装置包括双目摄像头和红外线测距仪。

在一个实施例中，图像采集装置包括RGB-D(RGB-Depth)摄像机。

在一个实施例中，图像采集装置包括两个垂直设置的单目摄像头。

在一个实施例中，图像采集装置包括两个垂直设置的单目摄像头和红外线测距仪。

在一个实施例中，根据所述主控制臂的图像，确定所述主控制臂的姿态数据，包括：获取所述双目摄像头中的左目摄像头与右目摄像头的空间位置数据；基于所述空间位置数据和所述主控制臂的多个特征点中各特征点在所述左目图像和所述右目图像中的位置参数，确定出所述各特征点对应的空间位置数据；根据多个时刻下所述各特征点对应的空间位置数据，确定所述主控制臂的姿态数据。

在一个实施例中，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，包括：基于所述主控制臂的姿态数据，生成所述主控制臂的控制指令信息；将所述主控制臂的控制指令信息作用于所述手术器械的三维模型，生成所述手术器械的虚拟姿态数据。

在一个实施例中，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，包括：根据所述主控制臂的姿态数据和所述手术器械的三维模型，利用预设的控制算法生成所述手术器械的虚拟姿态数据。

在一个实施例中，所述立体监视器中还显示有内窥镜采集的手术器械的实际器械图像；在所述医生控制台的立体监视器中显示虚拟指令器械图像之后，还包括：将所述实际器械图像与所述虚拟指令器械图像进行对比；根据对比结果，确定出所述虚拟指令器械图像中与所述实际器械图像之间的差异超过预设范围的目标部分；所述立体监视器还用于对所述目标部分进行标注显示。

本说明书实施例还提供了一种医生控制台，包括：图像采集装置，用于采集医生控制台的主控制臂的图像；图像处理装置，用于根据所述主控制臂的图像，确定所述主控制臂的姿态数据；还用于基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据；立体监视器，用于根据所述虚拟姿态数据显示虚拟指令器械图像。

在一个实施例中，所述图像采集装置还用于采集医生控制台的脚踏图像以及操作者的脚部图像；所述图像处理装置还用于根据所述脚踏图像生成脚踏位置数据，和/或根据所述脚部图像生成脚部位置数据；所述立体监视器还用于根据所述脚踏位置数据显示脚踏区域，和/或根据所述脚部位置数据显示脚部区域。

在一个实施例中，所述立体监视器还用于对所述脚踏区域中被有效踩踏的一个或多个脚踏进行突出显示。

在一个实施例中，所述图像采集装置包括双目摄像头，所述双目摄像头用于采集所述主控制臂的左目图像和右目图像。

在一个实施例中，所述图像处理装置具体用于：获取所述双目摄像头中的左目摄像头与右目摄像头的空间位置数据；基于所述空间位置数据和所述主控制臂的多个特征点中各特征点在所述左目图像和所述右目图像中的位置参数，确定出所述各特征点对应的空间位置数据；根据多个时刻下所述各特征点对应的空间位置数据，确定所述主控制臂的姿态数据。

在一个实施例中，所述图像处理装置具体用于：基于所述主控制臂的姿态数据，生成所述主控制臂的控制指令信息；将所述主控制臂的控制指令信息作用于所述手术器械的三维模型，生成所述手术器械的虚拟姿态数据。

在一个实施例中，所述图像处理装置具体用于：根据所述主控制臂的姿态数据和所述手术器械的三维模型，利用预设的控制算法生成所述手术器械的虚拟姿态数据。

在一个实施例中，所述立体监视器中还显示有内窥镜采集的手术器械的实际器械图像；所述图像处理装置还用于：将所述实际器械图像与所述虚拟指令器械图像进行对比；根据对比结果，确定出所述虚拟指令器械图像中与所述实际器械图像之间的差异超过预设范围的目标部分；所述立体监视器还用于对所述目标部分进行标注显示。

本说明书实施例还提供一种医疗设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任意实施例中所述的用于在医生控制台显示虚拟手术器械的方法的步骤。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意实施例中所述的用于在医生控制台显示虚拟手术器械的方法的步骤。

在本说明书实施例中，提供了一种用于在医生控制台显示虚拟手术器械的方法，可以获取医生控制台的主控制臂的图像，根据获得的主控制臂的图像，确定所述主控制臂的姿态数据，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，以在所述医生控制台的立体监视器中显示虚拟指令器械图像。上述方案中，先根据主控制臂的图像确定主控制臂的姿态数据，由于主控制臂与手术器械之间存在主从关系，可以根据主控制臂的姿态数据和手术器械的三维模型，生成手术器械的虚拟姿态数据，进而根据手术器械的虚拟姿态数据在立体监视器中显示虚拟指令器械图像。通过在立体监视器中显示虚拟指令器械图像，可以便于医生及时发现误操作，及时发现器械故障，辅助医生操作，提高手术效率，提高手术质量和成功率，改善医生和患者的手术体验。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，并不构成对本说明书的限定。在附图中：

图1示出了本说明书实施例的内窥镜手术系统的结构示意图；

图2示出了本说明书实施例中的医生控制台的示意图；

图3示出了本说明书实施例中的图像采集装置的示意图；

图4示出了本说明书实施例中的患者手术平台的示意图；

图5示出了本说明书实施例中的图像平台的结构示意图；

图6示出了本说明书实施例中用于在医生控制台显示虚拟手术器械的方法的流程图；

图7示出了本说明书实施例中的医生控制台的一种结构框图；

图8示出了本说明书实施例中的增强显示控制逻辑框图；

图9示出了本说明书实施例中的虚拟指令器械图像显示的流程图；

图10示出了本说明书实施例中的主手位姿和虚拟器械位姿关联的流程图；

图11示出了本说明书实施例中的摄像机坐标系和世界坐标系的示意图；

图12示出了本说明书实施例中的世界坐标系和相机坐标系的变换示意图；

图13示出了本说明书实施例中的虚拟脚踏位置及脚部动作图像显示的示意图；

图14示出了本说明书实施例中的手术器械位置跟随偏差过大提示的示意图；

图15示出了本说明书实施例中的脚踏面板位置显示的示意图；

图16示出了本说明书实施例中的脚部动作显示和有效踩踏显示的示意图；

图17示出了本说明书实施例中的内窥镜手术机器人的操作流程示意图；

图18示出了本说明书实施例中的虚拟指令器械采集及显示的流程示意图；

图19示出了本说明书实施例中的虚拟脚踏位置及脚部动作显示的流程示意图；

图20示出了本说明书实施例中的医疗设备组成结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本说明书的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本说明书，而并非以任何方式限制本说明书的范围。相反，提供这些实施方式是为了使本说明书公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域的技术人员知道，本说明书的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本说明书公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

本说明书实施例提供了一种用于在医生控制台显示虚拟手术器械的方法及医生控制台，可以应用于内窥镜手术系统。图1示出了内窥镜手术系统的结构示意图。如图1所示，内窥镜手术系统可以由医生控制台、患者手术平台(包括器械及内窥镜器械)、图像平台组成。其中，医生可以在医生控制台操作，向患者手术平台上的器械提供运动控制指令，内窥镜图像经过图像平台处理，分别显示在图像平台及医生控制台上的立体监控器上。

请参考图2，示出了本说明书实施例中的医生控制台的示意图。医生控制台是内窥镜手术系统的控制中心，可以为医生提供清晰的图像，并能够提供手术操作所必须的控制信号输入。医生控制台的主要部分可以包括：立体监控器201、操作主手(或者说主控制臂)202及脚踏面板203和图像采集装置(图2中未示出)。

立体监视器可以通过左右两块屏幕分别呈现同一张图像或视频信息，左眼观察左侧屏幕，右眼观察右侧屏幕。大脑会将图像自动合成为立体视觉效果。立体监视器的主要功能可以包括：显示内窥镜视觉图像、显示虚拟指令器械图像、显示虚拟脚踏板位置及脚部动作。

脚踏面板可以是辅助操作的功能，和操作主手/主控制臂控制配合操作，给手术器械以控制信号。脚踏面板的主要功能部分可以包括：对手术器械的操作、对内窥镜的操作、其它辅助功能。

医生控制台可以安装有两个操作主手/主控制臂，分别接收操作者的左手和右手的操作信号。主控制臂可以监测术者的手部运动信息，是整个系统主要的运动控制输入。操作者可以通过操作主控制臂末端的控制手柄来控制工具臂的运动，进而控制内窥镜和手术器械的操作。

图3示出了本说明书实施例中的图像采集装置的示意图。图像采集装置可以包括一个或多个双目摄像头。双目摄像头可以利用两个镜头拍的图像的特征点像素位置差别，获得物体深度信息。利用VR的3D技术，可以得到物体的位置和姿态。图像采集装置主要监控操作主手、脚踏面板的位置及脚部动作。

在本说明书的一些实施例中，图像采集装置可以包括双目摄像头和红外线测距仪。通过额外设置红外线测距仪可以更方便地获取物体的深度信息，进而得到主控制臂的姿态数据。

在本说明书的一些实施例中，图像采集装置可以包括RGB-D(RGB-Depth)摄像机。RGB-D摄像机采集到的深度图包含与视点场景对象表面距离有关信息的图像通道，通道本身类似于灰度图像，每个像素值是传感器测出距离物体的实际距离，可以获取物体深度信息和位置信息，进而得到主控制臂的姿态数据。

在本说明书的一些实施例中，图像采集装置可以包括多个单目摄像头。通过设置多个单目摄像头。多个单目摄像头可以是两个垂直设置的单目摄像头。可以通过对采集到的图像进行处理，得到物体深度信息，进而得到主控制臂的姿态数据。

请参考图4，示出了患者手术平台的示意图。患者手术平台是内窥镜手术系统位于患者手术床边的操作平台，其由手术台车、调整臂、工具臂(含图像臂)等三大单机组成，安装在工具臂上的器械及内窥镜作为从动机构，接受来自医生控制台的运动控制命令。

请参考图5，示出了图像平台的结构示意图。图像平台是内窥镜手术系统的视觉反馈子系统，可以包含三维电子内窥镜、内窥镜图像处理主机、图像车三大单机。可以为器械提供能量、内窥镜视觉处理及图像显示等功能。同步医生立体监控器的图像，主要是给操作医生之外的人员观看的。

图6示出了本说明书一实施例中用于在医生控制台显示虚拟手术器械的方法的流程图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。

具体地，如图6所示，本说明书一种实施例提供的用于在医生控制台显示虚拟手术器械的方法可以包括以下步骤：

步骤S601，获取医生控制台的主控制臂的图像。

本说明书实施例中的方法可以应用于图像处理装置。图像处理装置可以获取医生控制台的主控制臂的图像。其中，主控制臂可以包括左主控制臂和右主控制臂。

在一个实施例中，可以通过图像采集装置采集内窥镜手术过程中的主控制臂的图像。图像处理装置可以从图像采集装置获取主控制臂的图像。主控制臂的图像可以包括内窥镜手术环境中至少一个时刻下的左主控制臂的图像和右主控制臂的图像。

在一个实施例中，图像采集装置可以实时采集内窥镜手术过程中的主控制臂的图像。图像处理装置可以每隔预设时间段从图像采集装置获取主控制臂的图像。

步骤S602，根据所述主控制臂的图像，确定所述主控制臂的姿态数据。

在获得主控制臂的图像之后，图像处理装置可以根据主控制臂的图像，确定主控制臂的姿态数据。其中，主控制臂的姿态数据可以包括主控制臂上的多个特征点的姿态数据。可以通过多个特征点的姿态数据来表征主控制臂的姿态。各特征点的姿态数据可以包括以下至少之一：位置坐标、位移方向、位移量、旋转角度、旋转方向等各种数据。图像处理装置可以根据相邻两个时刻下的主控制臂的图像，确定出主控制臂上的多个特征点的姿态数据，进而确定出主控制臂的姿态数据。

步骤S603，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，以在所述医生控制台的立体监视器中显示虚拟指令器械图像。

由于主控制臂与手术器械之间存在主从关系，可以通过主控制臂的操作来对手术器械的姿态进行调整，因此可以根据主控制臂的姿态数据和手术器械的三维模型，生成手术器械的虚拟姿态数据。其中，手术器械的虚拟姿态数据可以包括与主控制臂的姿态数据对应的手术器械的姿态数据。

在一个实施例中，图像处理装置中可以存储有主控制臂的姿态数据与手术器械的姿态数据之间的对应关系。手术器械的姿态数据也可以包括多个器械特征点的姿态数据。各器械特征点的姿态数据可以包括以下至少之一：位置坐标、位移方向、位移量、旋转角度、旋转方向等各种数据。

在确定出主控制臂的姿态数据之后，图像处理装置可以根据主控制臂的姿态数据与手术器械的三维模型，生成手术器械的虚拟姿态数据。其中，手术器械的三维模型可以是预先建立的手术器械在三维坐标系中的模型数据。手术器械的虚拟姿态数据是指在主控制臂的操作下手术器械的姿态数据。

在生成手术器械的虚拟姿态数据之后，可以根据手术器械的虚拟姿态数据，在医生控制台的立体监视器中显示虚拟指令器械图像。在一个实施例中，立体监视器中可以同时显示虚拟指令器械图像和内窥镜采集到的实际器械图像。

上述实施例中，可以先根据主控制臂的图像确定主控制臂的姿态数据，由于主控制臂与手术器械之间存在主从关系，可以根据主控制臂的姿态数据和手术器械的三维模型，生成手术器械的虚拟姿态数据，进而根据手术器械的虚拟姿态数据在立体监视器中显示虚拟指令器械图像。通过在立体监视器中显示虚拟指令器械图像，可以便于医生及时发现误操作，及时发现器械故障，进而减少误操作，提高手术质量和成功率，改善医生和患者的手术体验。

在本说明书一些实施例中，该方法还可以包括：获取医生控制台的脚踏图像和/或操作者的脚部图像；根据所述脚踏图像生成脚踏位置数据，和/或根据所述脚部图像生成脚部位置数据，以在所述立体监视器中显示脚踏区域和/或脚部区域。

考虑到手术操作者在手术过程中也看不到脚踏以及脚部动作，只能根据经验来进行脚踏操作，因此图像采集装置可以采集医生控制台的脚踏图像以及操作者在脚踏区域内的脚部图像。图像处理装置可以获取图像采集装置采集到的脚踏图像和脚部图像。

之后，图像处理装置可以根据脚踏图像生成脚踏位置数据。脚踏位置数据可以包括医生控制台中的多个脚踏中各脚踏的位置数据和尺寸数据。图像处理装置可以根据脚踏位置数据，在立体监视器中显示脚踏区域。脚踏区域可以包括多个脚踏子区域，各个脚踏子区域与一个脚踏对应。

图像处理装置还可以根据脚部图像生成脚部位置数据。脚部位置数据可以包括操作者的左脚和/或右脚的位置数据和尺寸数据。图像处理壮汉子可以根据脚部位置数据，在立体监视器中显示脚部区域。脚部区域可以包括与左脚对应的左脚区域和与右脚对应的右脚区域。

在本说明书一些实施例中，该方法还可以包括：当所述医生控制台的一个或多个脚踏被有效踩踏时，在所述立体监视器中对所述脚踏区域中被有效踩踏的一个或多个脚踏进行突出显示。

为了便于操作者及时获知本人是否踩踏某一脚踏，可以在医生控制台的一个或多个脚踏被有效踩踏时，在立体监视器中对所述脚踏区域中被有效踩踏的一个或多个脚踏进行突出显示。

在一个实施例中，医生控制台的多个脚踏中各脚踏下方设置有压力传感器，在压力传感器检测到的压力大于预设值的情况下，对应脚踏被有效踩踏。各脚踏对应的压力传感器可以与图像处理装置连接，图像处理装置可以确定各压力传感器检测到的压力值是否大于预设压力阈值，并将压力值大于预设压力阈值的压力传感器对应的脚踏判定为被有效踩踏。图像处理装置基于判定结果，在立体监视器中对脚踏区域中被有效踩踏的一个或多个脚踏进行突出显示。通过上述方式，可以让操作者及时获知脚踏是否被有效踩踏或者是否被误踩踏，可以提高手术质量和成功率，改善操作者的操作体验。

在本说明书一些实施例中，所述主控制臂的图像可以包括双目摄像头采集的主控制臂的左目图像和右目图像。

本实施例中，图像采集装置可以包括双目摄像头，相应的，采集到的主控制臂的图像可以包括双目摄像头采集的主控制臂的左目图像和右目图像。本实施例中，通过将图像采集装置设置为双目摄像头，使得图像处理装置可以根据左目图像和右目图像获取深度信息，从而可以对器械进行立体显示。

在本说明书一些实施例中，根据所述主控制臂的图像，确定所述主控制臂的姿态数据，可以包括：获取所述双目摄像头中的左目摄像头与右目摄像头的空间位置数据；基于所述空间位置数据和所述主控制臂的多个特征点中各特征点在所述左目图像和所述右目图像中的位置参数，确定出所述各特征点对应的空间位置数据；根据多个时刻下所述各特征点对应的空间位置数据，确定所述主控制臂的姿态数据。

本实施例中，可以将主控制臂看作是刚体。不处于一条直线上的三个点的位置或者说姿态可以确定刚体的位置或者说姿态。因此，可以通过主控制臂上的至少三个特征点的姿态，来确定主控制臂的姿态。可以获取双目摄像头中轨道左目摄像头与右目摄像头的空间位置数据。之后，可以基于左目摄像头与右目摄像头的空间位置数据和主控制臂上的至少三个特征点的位置参数，确定出各特征点对应的空间位置数据，即各特征点在地理坐标系中的空间位置数据。在得到各特征点对应的空间位置数据之后，可以根据各特征点对应的空间位置数据，确定主控制臂的姿态数据。通过上述方式，可以根据获得的主控制臂的图像确定出主控制臂的姿态数据。

在本说明书一些实施例中，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，可以包括：基于所述主控制臂的姿态数据，生成所述主控制臂的控制指令信息；将所述主控制臂的控制指令信息作用于所述手术器械的三维模型，生成所述手术器械的虚拟姿态数据。

具体地，图像处理装置可以基于主控制臂的姿态数据，生成主控制臂的控制指令信息。其中，控制指令信息可以包括对机械臂的操作指令，操作指令可以包括但不限于以下至少之一：平移指定距离、旋转指定角度、旋转方向、旋转轴、旋转部位、张开指定角度等。在一个实施例中，图像处理装置中可以存储有控制臂的姿态数据与控制指令之间的对应关系或者两者之间的换算公式，可以根据存储的对应关系或者换算公式，基于主控制臂的姿态数据，生成主控制臂的控制指令信息。在得到主控制臂的控制指令信息之后，将控制指令信息对应的控制指令作用于手术器械的三维模型，即可以得到手术器械的虚拟姿态数据。例如，可以让手术器械的三维模型按照控制指令中的操作指令进行操作，得到手术器械的虚拟姿态数据。通过上述方式，可以基于控制臂的姿态数据和手术器械的三维模型生成手术器械的虚拟姿态数据。

在本说明书一些实施例中，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，可以包括：获取目标机器学习模型；所述目标机器学习模型是基于所述手术器械的三维模型预先建立的；将所述主控制臂的姿态数据输入所述目标机器学习模型，得到所述手术器械的虚拟姿态数据。

具体地，在得到控制臂的姿态数据和手术器械的三维模型之后，可以利用预设的控制算法生成手术器械的虚拟姿态数据。在一个实施例中，预设的控制算法可以包括机器学习模型中的多个算子。将主控制臂的姿态数据输入该机器学习模型之后，即可以输出手术器械的虚拟姿态数据。机器学习模型可以是基于手术器械的三维模型预先建立的。

在本说明书一些实施例中，在获取目标机器学习模型之前，还可以包括：基于所述手术器械的三维模型构建机器学习模型；获取内窥镜手术过程中所述控制臂的姿态数据以及对应的所述手术器械的姿态数据，并基于所述内窥镜手术过程中的所述控制臂的姿态数据以及对应的手术器械的姿态数据构建训练样本集；利用构建得到的训练样本集对所述机器学习模型进行训练，得到目标机器学习模型。

可以基于所述手术器械的三维模型构建机器学习模型。在内窥镜手术过程中，可以获取控制臂的姿态数据以及对应的手术器械的姿态数据。基于获得的内窥镜手术过程中的控制臂的姿态数据以及对应的手术器械的姿态数据，构建训练样本集。其中，控制臂的姿态数据为输入数据，手术器械的姿态数据为标签。利用构建得到的训练样本集对预先建立的机器学习模型进行训练，得到目标机器学习模型，该目标机器学习模型可以针对特定的手术器械基于控制臂的姿态数据确定出手术器械的姿态数据。通过上述方式，可以直接基于控制臂的姿态数据和手术器械的三维模型生成手术器械的虚拟姿态数据。

在本说明书一些实施例中，所述立体监视器中还显示有内窥镜采集的手术器械的实际器械图像；在所述医生控制台的立体监视器中显示虚拟指令器械图像之后，还可以包括：将所述实际器械图像与所述虚拟指令器械图像进行对比；根据对比结果，确定出所述虚拟指令器械图像中与所述实际器械图像之间的差异超过预设范围的目标部分；所述立体监视器还用于对所述目标部分进行标注显示。

本实施例中，可以在立体监视器中同时显示内窥镜采集的手术器械的实际器械图像以及基于主控制臂的姿态数据确定的虚拟指令器械图像。图像处理装置可以将实际器械图像与虚拟指令器械图像进行对比。在一个实施例中，图像处理装置可以将手术器械划分为多个部分，将虚拟指令器械图像中的多个部分中各部分和实际器械图像中的对应部分进行对比。根据对比结果，可以确定出虚拟指令器械图像中与实际器械图像之间的差异超过预设范围的目标部分。对于确定出来的目标部分，可以在立体监视器中进行标注显示。例如，虚拟指令器械图像中的某一部分相对于实际器械图像中的对应部分平移的距离大于预设距离，则将该部分确定为目标部分。再例如，虚拟指令器械图像中的某一部分相对于实际器械图像中对应部分绕固定轴旋转的角度大于预设角度，则将该部分确定为目标部分。又例如，虚拟指令器械图像中的某一部分相对于实际器械图像中对应部分绕固定点旋转的角度大于预设角度，则将该部分确定为目标部分。

在确定出目标部分之后，图像处理装置可以控制在立体监视器中对所述目标部分进行标注显示。其中，标注显示可以是对目标部分进行不同颜色的显示，例如，可以红色突出显示、黄色高亮显示等。又例如，标注显示可以是对目标部分进行闪烁显示。在一个实施例中，可以在同一个坐标系同一比例下显示实际器械图像以及虚拟指令器械图像，便于操作者及时观察到目标部分，减少误操作或者及时发现器械故障，提高手术质量和手术成功率。

在本说明书一些实施例中，在确定出所述虚拟指令器械图像中与所述实际器械图像之间的差异超过预设范围的目标部分之后，还可以包括：确定所述目标部分在所述手术器械中的位置数据；基于所述位置数据生成预警信息，并根据所述预警信息以预设的方式向操作者进行预警。

具体地，图像处理装置将手术器械划分为多个部分后确定出目标部分，目标部分在手术器械中的位置可以根据划分规则来获取，位置数据可以包括目标部分在手术器械中的位置以及其所述的具体部件名称等数据。在确定出手术器械的位置数据之后，可以基于位置数据生成预警信息。可以根据预警信息以预设的方式向操作者进行预警。例如，可以以语音播报的方式或者以文字形式显示在立体监视器中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，本说明书实施例中还提供了一种医生控制台，如下面的实施例所述。由于医生控制台解决问题的原理与用于在医生控制台显示虚拟手术器械的方法相似，因此医生控制台的实施可以参见用于在医生控制台显示虚拟手术器械的方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图7是本说明书实施例中的医生控制台的一种结构框图，如图7所示，包括：图像采集装置701、图像处理装置702和立体监视器703，下面对该结构进行说明。

图像采集装置701用于采集医生控制台的主控制臂的图像。

图像处理装置702用于根据所述主控制臂的图像，确定所述主控制臂的姿态数据；还用于基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据。

立体监视器703用于根据所述虚拟姿态数据显示虚拟指令器械图像。

在本说明书一些实施例中，所述图像采集装置还用于采集医生控制台的脚踏图像以及操作者的脚部图像；所述图像处理装置还用于根据所述脚踏图像生成脚踏位置数据，和/或根据所述脚部图像生成脚部位置数据；所述立体监视器还用于根据所述脚踏位置数据显示脚踏区域，和/或根据所述脚部位置数据显示脚部区域。

在本说明书一些实施例中，所述立体监视器还用于对所述脚踏区域中被有效踩踏的一个或多个脚踏进行突出显示。

在本说明书一些实施例中，所述图像采集装置包括双目摄像头，所述双目摄像头用于采集所述主控制臂的左目图像和右目图像。

在本说明书一些实施例中，所述图像处理装置具体用于：获取所述双目摄像头中的左目摄像头与右目摄像头的空间位置数据；基于所述空间位置数据和所述主控制臂的多个特征点中各特征点在所述左目图像和所述右目图像中的位置参数，确定出所述各特征点对应的空间位置数据；根据多个时刻下所述各特征点对应的空间位置数据，确定所述主控制臂的姿态数据。

在本说明书一些实施例中，所述图像处理装置具体用于：基于所述主控制臂的姿态数据，生成所述主控制臂的控制指令信息；将所述主控制臂的控制指令信息作用于所述手术器械的三维模型，生成所述手术器械的虚拟姿态数据。

在本说明书一些实施例中，所述图像处理装置具体用于：根据所述主控制臂的姿态数据和所述手术器械的三维模型，利用预设的控制算法生成所述手术器械的虚拟姿态数据。

在本说明书一些实施例中，所述立体监视器中还可以显示有内窥镜采集的手术器械的实际器械图像；所述图像处理装置还可以用于：将所述实际器械图像与所述虚拟指令器械图像进行对比；根据对比结果，确定出所述虚拟指令器械图像中与所述实际器械图像之间的差异超过预设范围的目标部分；所述立体监视器还用于对所述目标部分进行标注显示。

下面结合一个具体实施例对上述方法和医生控制台进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本说明书，并不构成对本说明书的不当限定。

本具体实施例中，提供了一种增强现实的医生控制台。如图1所示，医生控制台可以包括立体监视器、主控制臂及脚踏面板以及图像采集装置。

增强显示主要是实现在立体监视器内把内窥镜视觉图像、虚拟指令器械图像、脚踏位置图像、脚部动作图像一起显示在立体监控器内。该实时融合显示可以给操作者以提示，减少误操作。请参考图8，示出了增强显示控制逻辑框图。如图8所示，增强现实可以包括：虚拟指令器械图像显示、虚拟脚踏位置及脚部动作图像显示。

请参考图9，示出了虚拟指令器械图像显示的流程图。如图9所示，通过图像采集装置，优选用双目视觉，利用其深度信息，获取主手操作姿态，再和主手控制指令融合，得到虚拟指令器械位姿。其中虚拟指令器械图像的显示在操作平台上有开关可以控制其打开或关闭。当出现偏差过大故障时，会在器械偏差过大时部位标红提示。

请参考图10，示出了主手位姿和虚拟器械位姿关联的流程图。如图10所示，在开始之后，双目视觉启动。通过左目摄像头(摄像头1)获取主控制臂上的多个目标特征点在视野内的位置。通过右目摄像头(摄像头2)获取主控制臂上的多个目标特征点在视野内的位置。根据两个摄像头的空间位置以及各特征点在两个视野中的位置，计算出各目标特征点的空间位置。通过连续的图像处理及位置解析，互殴去各目标特征点的连续运动轨迹。将各特征点的连续运动轨迹与虚拟器械3D模型姿态相关联，得到虚拟器械的姿态数据。

请参考图11，示出了摄像机坐标系和世界坐标系的示意图。如上图所示：XcYcZc为摄像机坐标系；XwYwZw为世界坐标系；XY为成像平面坐标系。根据主控制臂上的目标特征点在两个方向上成像的坐标信息，推算出特征点在三维坐标系上的位置。连续的图像及位置计算，可以获得特征点的运动位移/轨迹。再和虚拟器械的三维模型相关联，得到虚拟器械模型跟随运动的动画效果。

请参考图12，示出了世界坐标系和相机坐标系的变换示意图。从世界坐标系变换到相机坐标系属于刚体变换，即物体不会发生形变，只需要进行旋转和平移。R表示旋转矩阵。S表示平移向量。变换公式如下：

其中，(x,y,z)为摄像机坐标系下的坐标，(x_w,y_w,z_w)为世界坐标系下的坐标，r_ij(i,j＝1,2,3)为旋转矩阵R中的元素，s_k(k＝x,y,z)为平移向量S中的元素，T为矩阵转置。

请参考图13，示出了虚拟脚踏位置及脚部动作图像显示的示意图。如图13所示，通过图像采集装置，优选用双目视觉，利用其深度信息，获取脚踏位置及脚部动作信息。虚拟脚踏位置在立体监控器内显示，指引医生切换脚踏时用。虚拟脚部动作在立体监视器内显示，当医生移动脚部，切换脚踏时，可以有实时的视觉反馈，防止误踏。采集及显示的计算方法：以左下方的脚踏中心为X、Y、Z坐标系的原点，通过深度相机获取脚部在XYZ方向上的实时位移。把该位移按一定比例显示在立体监视器内的规定区域内。

请参考图14，示出了手术器械位置跟随偏差过大提示的示意图。在操作过程中，当出现指令给定器械的位姿和实现器械的位姿偏差过大时，会报故障，并在立体监视器内会有相应的故障位置指示及文字提示。如图14所示，可以对偏差过大的部位进行标红显示(图中用深灰色标出)。该增强显示可以直观有效地指出故障点，及故障解决办法等提示。

请参考图15，示出了脚踏面板位置显示的示意图。如图15所示，在操作过程中，实时显示脚踏位置及脚部动作，目的是在切换操作的过程中，给操作者以视觉反馈，差少操作出错的概率。既有有踏板有效踩下的位置提示，又有当前脚的实时位置显示，相互校正，防止出错。在操作过程中，实时显示脚部动作，当操作人员想要切换脚踏时，通过脚部的实时显示图像，可以给医生反馈想到到达的踏板移动方位是否正确。在脚部踏板踩下时，通过颜色的突出，确定该踏板功能是否有效踩下。以上两点都可以辅助医生切换踏板过程无误操作。请参考图16，示出了脚部动作显示和有效踩踏显示的示意图。如图16所示，脚部所在的脚踏被有效踩踏。

请参考图17，示出了内窥镜手术机器人的操作流程示意图。如图17所示，主要流程包括：操作：在医生平台通过主手及脚踏操作配合，给手术平台上的器械控制指令；监控：在医生平台通过图像采集装置获取主手动作及脚踏动作信息，虚拟出指令器械位姿，此位姿和实际控制指令相互校正。偏差过大时报警；显示：内窥镜图像在立体监视器内显示，同时把虚拟指令器械和脚踏位置及脚部动作也实时显示在监视器内，作为医生操作时的实时反馈信息。

请参考图18，示出了虚拟指令器械采集及显示的流程示意图。如图18所示，主要流程包括：把基于图像采集的虚拟指令器械显示在立体监视器内；当发生偏差过大故障时，把故障部位显示出来并配有颜色突出及闪烁提示。

请参考图19，示出了虚拟脚踏位置及脚部动作显示的流程示意图。如图19所示，主要流程包括：基于图像采集装置，获取脚踏位置图像并在立体监视器内显示，脚踏有效突出显示确认；基于图像采集装置，获取脚部实时动作图像，并在立体监视器内显示，给目标方位移动视觉反馈。

上述方案中，在医生控制台上安装图像采集模块监测医生控制台的主手及脚踏部分。通过上述图像采集信息，识别出主手的动作姿态及脚部的动作姿态。再根据控制算法对器械的控制指令信息，利用VR显示技术，在医生立体监视器内虚拟出指令器械姿态，并加以显示。基于上述图像采集装置，利用VR技术，把脚踏位置及脚部动作在立体监视器内虚拟显示以辅助医生操作。通过增加图像采集装置对操作者的动作姿态及脚踏动作位置的监测，利用VR技术实时在医生立体监视器中加以显示及操作提示，方便医生的操作，比如：在医生立体监视器内把脚踏板位置、脚部动作实时显示，医生很清楚的看到脚部移动过程及下一步哪只脚需要向哪个脚踏板方位移动等相关提示。可以避免误操作，提高手术效率，在操作过程中的提示可以辅助医生操作。

从以上的描述中，可以看出，本说明书实施例实现了如下技术效果：先根据主控制臂的图像确定主控制臂的姿态数据，由于主控制臂与手术器械之间存在主从关系，可以根据主控制臂的姿态数据和手术器械的三维模型，生成手术器械的虚拟姿态数据，进而根据手术器械的虚拟姿态数据在立体监视器中显示虚拟指令器械图像。通过在立体监视器中显示虚拟指令器械图像，可以便于医生及时发现误操作，及时发现器械故障，辅助医生操作，提高手术效率，提高手术质量和成功率，改善医生和患者的手术体验。

本说明书实施方式还提供了一种医疗设备，具体可以参阅图20所示的基于本说明书实施例提供的用于在医生控制台显示虚拟手术器械的方法的医疗设备组成结构示意图，所述医疗设备具体可以包括输入设备21、处理器22、存储器23。其中，所述存储器23用于存储处理器可执行指令。所述处理器22执行所述指令时实现上述任意实施例中所述的用于在医生控制台显示虚拟手术器械的方法的步骤。

本说明书实施例还提供了一种内窥镜医疗机器人，包括上述任意实施例中所述的医生控制台。

在本实施方式中，所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。

在本实施方式中，该医疗设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

本说明书实施方式中还提供了一种基于用于在医生控制台显示虚拟手术器械的方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现上述任意实施例中所述用于在医生控制台显示虚拟手术器械的方法的步骤。

在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。

在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

显然，本领域的技术人员应该明白，上述的本说明书实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本说明书实施例不限制于任何特定的硬件和软件结合。

应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本说明书的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。

以上所述仅为本说明书的优选实施例而已，并不用于限制本说明书，对于本领域的技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。

Claims (14)

1.一种用于在医生控制台显示虚拟手术器械的方法，其特征在于，包括：

获取医生控制台的主控制臂的图像；

根据所述主控制臂的图像，确定所述主控制臂的姿态数据；

基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，以在所述医生控制台的立体监视器中显示虚拟指令器械图像。

2.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，还包括：

获取医生控制台的脚踏图像和/或操作者的脚部图像；

根据所述脚踏图像生成脚踏位置数据，和/或根据所述脚部图像生成脚部位置数据，以在所述立体监视器中显示脚踏区域和/或脚部区域。

3.根据权利要求2所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，还包括：

当所述医生控制台的一个或多个脚踏被有效踩踏时，在所述立体监视器中对所述脚踏区域中被有效踩踏的一个或多个脚踏进行突出显示。

4.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，所述主控制臂的图像包括双目摄像头采集的主控制臂的左目图像和右目图像。

5.根据权利要求4所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，根据所述主控制臂的图像，确定所述主控制臂的姿态数据，包括：

获取所述双目摄像头中的左目摄像头与右目摄像头的空间位置数据；

基于所述空间位置数据和所述主控制臂的多个特征点中各特征点在所述左目图像和所述右目图像中的位置参数，确定出所述各特征点对应的空间位置数据；

根据多个时刻下所述各特征点对应的空间位置数据，确定所述主控制臂的姿态数据。

6.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，包括：

基于所述主控制臂的姿态数据，生成所述主控制臂的控制指令信息；

将所述主控制臂的控制指令信息作用于所述手术器械的三维模型，生成所述手术器械的虚拟姿态数据。

7.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据，包括：

获取目标机器学习模型；所述目标机器学习模型是基于所述手术器械的三维模型预先建立的；

将所述主控制臂的姿态数据输入所述目标机器学习模型，得到所述手术器械的虚拟姿态数据。

8.根据权利要求7所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，在获取目标机器学习模型之前，还包括：

基于所述手术器械的三维模型构建机器学习模型；

获取内窥镜手术过程中所述控制臂的姿态数据以及对应的所述手术器械的姿态数据，并基于所述内窥镜手术过程中的所述控制臂的姿态数据以及对应的手术器械的姿态数据构建训练样本集；

利用构建得到的训练样本集对所述机器学习模型进行训练，得到目标机器学习模型。

9.根据权利要求1所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，所述立体监视器中还显示有内窥镜采集的手术器械的实际器械图像；

在所述医生控制台的立体监视器中显示虚拟指令器械图像之后，还包括：

将所述实际器械图像与所述虚拟指令器械图像进行对比；

根据对比结果，确定出所述虚拟指令器械图像中与所述实际器械图像之间的差异超过预设范围的目标部分，以在所述立体监视器对所述目标部分进行标注显示。

10.根据权利要求9所述的用于在医生控制台显示虚拟手术器械的方法，其特征在于，在确定出所述虚拟指令器械图像中与所述实际器械图像之间的差异超过预设范围的目标部分之后，还包括：

确定所述目标部分在所述手术器械中的位置数据；

基于所述位置数据生成预警信息，并根据所述预警信息以预设的方式向操作者进行预警。

11.一种医生控制台，其特征在于，包括：

图像采集装置，用于采集医生控制台的主控制臂的图像；

图像处理装置，用于根据所述主控制臂的图像，确定所述主控制臂的姿态数据；还用于基于所述主控制臂的姿态数据和手术器械的三维模型，生成所述手术器械的虚拟姿态数据；

立体监视器，用于根据所述虚拟姿态数据显示虚拟指令器械图像。

12.一种医疗设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至10中任一项所述方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现权利要求1至10中任一项所述方法的步骤。

14.一种内窥镜医疗机器人，其特征在于，包括权利要求11所述的医生控制台。

Images