CN117179680A - 内镜导航系统 - Google Patents

Abstract

本公开涉及一种内镜导航系统。其中，内镜导航系统包括混合现实设备、内镜和机器人；混合现实设备用于获取内镜采集的目标实体图像，建立与目标实体图像对应的三维重建模型；确定内镜在目标实体中的目标位姿；确定目标位姿与预设的目标区域的距离是否满足预设的距离阈值，若距离不满足预设的距离阈值时，发出碰撞提醒；机器人的机械臂用于夹持内镜并控制内镜按照预设轨迹运动；内镜中的内镜镜头用于采集目标实体图像，由此，能够通过机械臂夹持内镜来进行运动，降低了手术的操控难度，同时设置了预设的目标区域，在确定内镜在目标实体中的目标位姿与预设的目标区域的距离不满足预设的距离阈值时发出碰撞提醒，提高了手术的安全性。

Description

内镜导航系统

技术领域

本公开涉及医疗器械导航技术领域，尤其涉及一种内镜导航系统。

背景技术

目前，微创手术与传统的手术相比具有疼痛少、恢复周期短、对组织的伤害性小等优势被广泛地应用，在微创手术中内镜是常用的医疗器械，在内镜引导的微创手术中，医生主要是依靠内镜采集的手术部位的内镜图像来确定具体的手术途径和方案。

现有的内镜导航方法中通过结合混合现实技术，将真实世界信息和虚拟世界信息相互补充叠合、无缝集成，进而将虚拟的内镜图像和患者的真实图像信息进行融合，形成虚实结合的导航系统，使得医生可以观察到患者手术部位的组织结构信息，方便医生进行手术。

但是，由于手术的操作区域比较狭窄，医生需要对内镜进行精准地操控，操控难度较大，危险系数较高。

发明内容

为了解决上述技术问题，本公开提供了一种内镜导航系统。

本公开实施例提供了一种内镜导航系统，包括混合现实设备、内镜和机器人，混合现实设备与所述机器人通信连接；

混合现实设备用于获取内镜采集的目标实体图像，建立与目标实体图像对应的三维重建模型；确定内镜在目标实体中的目标位姿；基于三维重建模型确定目标位姿与预设的目标区域的距离是否满足预设的距离阈值，若距离不满足预设的距离阈值时，发出碰撞提醒；

机器人包括机械臂，机械臂用于夹持内镜并控制内镜按照预设轨迹运动；

内镜包括内镜镜头，内镜镜头用于采集目标实体图像，并将目标实体图像发送至混合现实设备。

在本公开一些实施例中，混合现实设备包括三维重建模块和显示屏；

三维重建模块用于接收内镜发送的目标实体图像，并对目标实体图像进行三维场景重建，得到与目标实体图像对应的三维重建模型，并将三维重建模型发送至显示屏；

显示屏用于接收三维重建模块发送的三维重建模型并进行显示。

在本公开一些实施例中，混合现实设备还包括位姿确定模块；

位姿确定模块用于获取内镜的初始位姿和内镜的位姿变化量，基于初始位姿以及位姿变化量确定内镜的目标位姿。

在本公开一些实施例中，内镜包括加速度传感器；

加速度传感器用于在确定内镜的目标位姿之前，获取内镜的位姿变化量，并将位姿变化量发送至位姿确定模块。

在本公开一些实施例中，混合现实设备包括叠加模块；

叠加模块用于获取内镜的图像，基于内镜的图像以及内镜在目标实体中的目标位姿，将内镜叠加至所述三维重建模型中，得到包含内镜在内的目标三维模型。

在本公开一些实施例中，混合现实设备还包括计算模块和碰撞提醒模块；

计算模块用于计算内镜在目标三维模型中的第一位置与预设的目标区域的第二位置之间的距离，并将距离发送至碰撞提醒模块，第二位置为预设的目标区域的边界上的任意点所在的位置；

碰撞提醒模块用于将距离与预设的距离阈值进行比较，在确定距离小于预设的距离阈值时，向用户发出碰撞提醒。

在本公开一些实施例中，内镜导航系统还包括校准模块；

校准模块用于在机械臂控制内镜按照预设轨迹运动之前，对机械臂进行校准。

在本公开一些实施例中，校准模块包括发射器、位置传感器和校准单元；机械臂上安装有至少三个靶标；

发射器用于向机械臂发射红外光以使至少三个靶标接触到红外光；

位置传感器用于捕捉至少三个靶标反射的红外光，并基于至少三个靶标反射的红外光确定靶标的位姿；

校准单元用于基于靶标与机械臂的位置关系确定机械臂的位置，并基于预设的初始位置和机械臂的位置对机械臂进行校准。

在本公开一些实施例中，机器人还包括语音控制模块；

语音控制模块用于接收用户发送的语音控制指令，对语音控制指令进行解析并执行与语音控制指令对应的操作。

在本公开一些实施例中，混合现实设备包括手势控制模块；

手势控制模块用于识别用于对虚拟控制界面的手势操作，并基于手势操作生成目标控制指令，将目标控制指令发送至机械臂，以使机械臂接收到目标控制指令后，执行与目标控制指令对应的操作。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例提供的内镜导航系统，包括混合现实设备、内镜和机器人，混合现实设备与机器人通信连接，混合现实设备用于获取内镜采集的目标实体图像，建立与目标实体图像对应的三维重建模型，确定内镜在目标实体中的目标位姿，基于三维重建模型确定目标位姿与预设的目标区域的距离是否满足预设的距离阈值，若距离不满足预设的距离阈值时，发出碰撞提醒，机器人包括机械臂，机械臂用于夹持内镜并控制内镜按照预设轨迹运动，内镜包括内镜镜头，内镜镜头用于采集目标实体图像，并将目标实体图像发送至混合现实设备，由此，能够通过机械臂夹持内镜按照预设轨迹进行运动，降低了手术的操控难度，同时设置了预设的目标区域，在确定内镜在目标实体中的目标位姿与预设的目标区域的距离不满足预设的距离阈值时发出碰撞提醒，提高了手术的安全性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本公开实施例提供的一种内镜导航系统的结构示意图；

图2是本公开实施例提供的另一种内镜导航系统的结构示意图；

图3是本公开实施例提供的又一种内镜导航系统的结构示意图；

图4是本公开实施例提供的再一种内镜导航系统的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素等。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、物品或者设备中还存在另外的相同要素。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

图1是本公开实施例提供的一种内镜导航系统的结构示意图。

如图1所示，本实施例提供的内镜导航系统10包括机器人11、混合现实设备12和内镜13，其中，机器人11包括机械臂111，内镜13包括内镜镜头131。

在本公开实施例中，机器人11和混合现实设备12可以通过网络进行通信连接和数据传输等，混合现实设备12与内镜13可以通过有线或无线的方式进行通信连接和数据传输等。

在本公开实施例中，混合现实设备12用于获取内镜采集的目标实体图像，建立与目标实体图像对应的三维重建模型；确定内镜在目标实体中的目标位姿；基于三维重建模型确定目标位姿与预设的目标区域的距离是否满足预设的距离阈值，若距离不满足预设的距离阈值时，发出碰撞提醒。

混合现实设备12可以是混合现实(Mixed Reality，MR)设备，可以合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，并实时互动，比如头戴式前向式显示的混合现实设备。

其中，目标实体可以是内镜采集的内镜周围的任意实体，比如可以根据不同手术类型内镜所在的不同位置来确定目标实体。

预设的目标区域可以是用户根据目标实体的核磁共振图像等信息提前规划的安全区域，即内镜在该目标区域内运动可以确保目标实体以及手术的安全性等。

预设的距离阈值是预先设置的用于确定内镜与预设的目标区域的距离是否处于安全距离范围内的阈值。

内镜可以是内窥镜，可以用于外科手术、微创手术等。

机械臂111用于夹持内镜并控制内镜13按照预设轨迹运动。

机械臂111上设置有可以夹持内镜的抓手，通过抓手夹持内镜，并通过机械臂的运动带动并控制内镜运动。

具体地，机器人11接收混合现实设备12发送的控制指令，机器人11接收到控制指令之后，根据控制指令执行与控制指令对应的操作，进而由机械臂111控制内镜13按照预设轨迹运动，其中，内镜13可以是按照预设轨迹进行锥型运动，以确保运动的安全性。

在本公开实施例中，预设轨迹可以是用户根据预先采集的目标实体的核磁共振图像，制定并存储的内镜的运动轨迹。

机械臂111在控制内镜按照预设轨迹运动之前，可以通过与混合现实设备12或者用户的终端设备的网络通信连接，来获取到预设轨迹，也可以通过从机器人11的预设存储中获取到预设轨迹，其中具体的获取方式可以根据用户的具体设置进行确定。

内镜镜头131用于采集目标实体图像，并将目标实体图像发送至混合现实设备。

内镜镜头131可以是具有消除畸变功能的摄像头，通过内窥镜的光源来采集目标实体图像，其中，内镜镜头131可以是双目摄像头，也可以是深度相机即TOF相机等。内镜镜头131可以是在接收到用户通过混合现实设备12发送的图像采集指令后，实时采集目标实体图像并将该目标实体图像实时发送至混合现实设备12。

目标实体图像可以是目标实体的二维图像，也可以是带有深度信息的三维图像，在此不作限制。

在本公开实施例中，内镜导航系统包括混合现实设备、内镜和机器人，混合现实设备与机器人通信连接，混合现实设备用于获取内镜采集的目标实体图像，建立与目标实体图像对应的三维重建模型，确定内镜在目标实体中的目标位姿，基于三维重建模型确定目标位姿与预设的目标区域的距离是否满足预设的距离阈值，若距离不满足预设的距离阈值时，发出碰撞提醒，机器人包括机械臂，机械臂用于夹持内镜并控制内镜按照预设轨迹运动，内镜包括内镜镜头，内镜镜头用于采集目标实体图像，并将目标实体图像发送至混合现实设备，由此，能够通过机械臂夹持内镜按照预设轨迹进行运动，降低了手术的操控难度，同时设置了预设的目标区域，在确定内镜在目标实体中的目标位姿与预设的目标区域的距离不满足预设的距离阈值时发出碰撞提醒，提高了手术的安全性。

图2是本公开实施例提供的另一种内镜导航系统的结构示意图，如图2所示，该内镜导航系统20包括机器人21、混合现实设备22和内镜23，其中，机器人21包括机械臂211，内镜23包括内镜镜头231和加速度传感器232，混合现实设备22包括三维重建模块221、显示屏222和位姿确定模块223。

在本公开实施例中，三维重建模块221用于接收内镜23发送的目标实体图像，并对目标实体图像进行三维场景重建，得到与目标实体图像对应的三维重建模型，并将三维重建模型发送至显示屏222。

其中，三维重建模块221可以通过即时定位与地图创建(SimultaneousLocalization and Mapping，SLAM)技术对目标实体对象进行三维场景重建，重建出与目标实体对应的三维重建模型，也可以通过其他现有的方式对目标实体对象进行三维场景重建。

三维重建模块221也可以借助SLAM技术来对目标实体对象图像进行消除高光干扰，以使得到的三维重建模型更精准。

显示屏222用于接收三维重建模块221发送的三维重建模型并进行显示。

显示屏222可以是设置在混合现实设备22的正前方，即用户的眼部正前方位置，方面用户实时对三维重建模型进行查看、调整等。

在本公开一些实施例中，混合现实设备22还可以包括位姿确定模块223。

位姿确定模块223用于获取内镜23的初始位姿和内镜23的位姿变化量，基于初始位姿以及位姿变化量确定内镜23的目标位姿。

内镜23的初始位姿可以是用户基于预设轨迹中的初始位置以及内镜在预设轨迹的初始位置所处的朝向等信息预先确定并存储至混合现实设备22中的。其中，位姿包括位置、角度和朝向中的至少一个。

内镜23的位姿变化量可以是基于内镜23中的加速度传感器232获取并实时上传至混合现实设备22中的。

在本公开一些实施例中，加速度传感器232用于在确定内镜23的目标位姿之前，获取内镜23的位姿变化量，并将位姿变化量发送至位姿确定模块。

图3是本公开实施例提供的又一种内镜导航系统的结构示意图，如图3所示，该内镜导航系统30包括机器人31、混合现实设备32和内镜33，其中，机器人31包括机械臂311，内镜33包括内镜镜头331和加速度传感器332，混合现实设备32包括三维重建模块321、显示屏322、位姿确定模块323、叠加模块324、计算模块325和碰撞提醒模块326。

在本公开实施例中，叠加模块324用于获取内镜的图像，基于内镜的图像以及内镜在目标实体中的目标位姿，将内镜叠加至三维重建模型中，得到包含内镜在内的目标三维模型。

内镜的图像是内镜本身的图像，可以是用户预先通过图像采集设备采集并存储至混合现实设备32的预设存储器中的图像，内镜的图像可以是内镜的二维图像，也可以是内镜的三维图像，在此不作限制。

叠加模块324可以用于通过内镜的标识信息从混合现实设备32的预设存储器中获取内镜的图像，并基于内镜的图像以及内镜在目标实体中的目标位姿构建内镜的三维模型，将内镜的三维模型叠加至三维重建模型中，得到包含内镜在内的目标三维模型，并将目标三维模型发送至显示屏322，由显示屏322将目标三维模型进行显示。

在本公开实施例中，能够通过叠加模块将内镜叠加至目标实体对象所在的三维重建模型中，得到包含内镜在内的目标三维模型，以使用户可以通过目标三维模型实时观察到内镜在目标实体中的运动，以及内镜与目标实体的距离等信息，提高了用户体验，同时提高了用户利用内镜进行手术时的安全性。

计算模块325用于计算内镜33在目标三维模型中的第一位置与预设的目标区域的第二位置之间的距离，并将距离发送至碰撞提醒模块326，第二位置为预设的目标区域的边界上的任意点所在的位置。

在本公开一些实施例中，计算模块325获取目标三维模型中内镜的第一位置以及第一位置对应的坐标信息，以及预设的目标区域的边界线上所有点即第二位置对应的坐标信息，根据坐标信息计算第一位置与第二位置的距离，并将边界线上所有点与内镜的距离发送至碰撞提醒模块326。

在本公开另一些实施例中，计算模块325获取目标三维模型中内镜的第一位置以及第一位置对应的坐标信息，以及预设的目标区域的边界线上所有点即第二位置对应的坐标信息，根据坐标信息计算第一位置与第二位置的距离，并对所有点分别距离内镜的距离进行排序，从中筛选出距离内镜最近的目标点的距离，将该目标点的距离发送至碰撞提醒模块326。

碰撞提醒模块326用于将距离与预设的距离阈值进行比较，在确定距离小于预设的距离阈值时，向用户发出碰撞提醒。

在本公开一些实施例中，碰撞提醒模块326在接收到计算模块325中发送的所有点分别距离内镜的距离之后，将所有点分别距离内镜的距离一一与预设的距离阈值进行比较，当存在所有点中存在距离内镜的距离小于预设的距离阈值时，向用户发出碰撞提醒，同时将该点的位置信息发送至显示屏322，以使显示屏322将该点的位置信息显示或标注在目标三维模型或者三维重建模型中，当不存在距离小于预设的距离阈值时，则不输出任何提醒信息。

在本公开另一些实施例中，碰撞提醒模块326在接收到计算模块325中发送的目标点的距离之后，将该目标点的距离与预设的距离阈值进行比较，当距离小于预设的距离阈值时，向用户发出碰撞提醒，同时将该点的位置信息发送至显示屏322，以使显示屏322将该点的位置信息显示或标注在目标三维模型或者三维重建模型中，当距离大于或等于预设的距离阈值时，则不输出任何提醒信息。

碰撞提醒的方式可以是震动、语音、文字中的至少任意一种方式。

在本公开实施例中，能够实时计算内镜与预设的目标区域的距离，并与预设的距离阈值进行比较，进而在内镜与预设的目标区域的距离小于预设的距离阈值时，发出碰撞提醒，以提醒用户，提高了手术的安全性。

图4是本公开实施例提供的再一种内镜导航系统的结构示意图，如图4所示，该内镜导航系统40包括机器人41、混合现实设备42、内镜43和校准模块44，其中，机器人41包括机械臂411和语音控制模块412，内镜43包括内镜镜头431和加速度传感器432，混合现实设备42包括三维重建模块421、显示屏422、位姿确定模块423、叠加模块424、计算模块425、碰撞提醒模块426和手势控制模块427，校准模块44包括发射器441、位置传感器442和校准单元443。

在本公开实施例中，校准模块44用于在机械臂控制内镜按照预设轨迹运动之前，对机械臂进行校准。

其中，机械臂411上安装有至少三个靶标，至少三个靶标为非共线靶标。其中，靶标可以是刚体或者光球，在此不作限制。

具体地，发射器441用于向机械臂发射红外光以使至少三个靶标接触到红外光。

位置传感器442用于捕捉至少三个靶标反射的红外光，并基于至少三个靶标反射的红外光确定靶标的位姿，将靶标的位姿发送至校准单元443中。

具体地，位置传感器442基于至少三个靶标反射的红外光确定靶标的位姿与现有的基于光学定位方式确定靶标的位姿的实施方式类似，在此不做赘述。

校准单元443用于基于靶标与机械臂的位置关系确定机械臂的位置，并基于预设的初始位置和机械臂的位置对机械臂进行校准。

其中，靶标固定在机械臂上，靶标与机械臂的位置关系是预先获取并存储在内镜导航系统的存储器中的。

预设的初始位置可以是预设轨迹中的初始位置，比如在手术时，确定的目标实体的靶点位置等。

具体地，校准单元443用于接收位置传感器442发送的靶标的位姿，然后根据靶标的位姿以及基于靶标与机械臂的位置关系，得到机械臂的位置或位姿，然后将预设的初始位置和机械臂的位置或位姿进行对比，根据预设的初始位置和机械臂的位置或位姿的差值对机械臂进行校准。

在本公开实施例中，能够提前基于光学定位的方式对机械臂进行校准，以确保机械臂的精准度，进而确保机械臂在控制内镜按照预设轨迹运动时的精准度，提高了手术的准确性和安全性。

在本公开一些实施例中，语音控制模块412用于接收用户发送的语音控制指令，对语音控制指令进行解析并执行与语音控制指令对应的操作。

其中，语音控制指令可以是在混合现实设备发出碰撞提醒后，用户根据碰撞提醒、三维重建模型和目标三维模型中的至少一个，发出的语音控制指令；也可以是用户在手术过程中根据三维重建模型和目标三维模型中的至少一个，发出的语音控制指令。该语音控制指令可以是用于用户在基于内镜导航系统进行手术的过程中，根据患者的实际情况对预设轨迹进行调整的控制指令；还可以是用于防止机械臂控制失误导致的安全隐患的控制指令。

机器人41中的语音控制模块412在接收到用户发送的语音控制指令之后，对语音控制指令进行解析并执行与语音控制指令对应的操作，其中，对语音控制指令的解析过程可以包括基于机器学习模型进行语音控制指令的语义分析、基于分析结果以及预设的关键词与操作之间的对应关系确定具体操作的过程。

语音控制指令可以包括抓取、松开、向左转动、向右旋转等。

在本公开实施例中，用户能够通过语音控制的方式对机械臂的运动轨迹即内镜的运动轨迹进行调整，方便用户对手术中运动轨迹的控制，确保手术的安全有效进行，提高了手术过程中的便捷性，以及手术的安全性。

手势控制模块427用于识别用户对虚拟控制界面的手势操作，并基于手势操作生成目标控制指令，将目标控制指令发送至机械臂411，以使机械臂411接收到目标控制指令后，执行与目标控制指令对应的操作。

其中，手势操作可以是界面放大操作、界面缩小操作、点击机械臂向左移动按钮、点击机械臂向右移动按钮等。

手势操作可以是用于对虚拟控制界面的操作，也可以是用于对机械臂进行控制的操作。

具体地，手势控制模块427识别用户对虚拟控制界面的手势操作，对手势操作进行解析，当用户的手势操作是用于对虚拟控制界面的操作时，显示屏根据手势操作执行具体的操作显示；当用户的手势操作是用于对机械臂进行控制的操作时，根据该手势操作生成目标控制指令，将目标控制指令发送至机械臂411，以使机械臂411接收到目标控制指令后，执行与目标控制指令对应的操作。

在本公开实施例中，能够通过手势操作对机械臂或者虚拟控制界面进行控制，方便用户与内镜导航系统进行交互，简单快捷，提高了用户的体验，以及在手术过程中对机械臂进行控制的便利性。

在实际使用过程中，首先，用户先基于内镜导航系统中的校准模块对机械臂进行校准，在对机械臂进行校准后，将内镜夹持在机械臂的抓手上，并确定内镜的初始位姿并进行记录，然后将混合现实设备戴至头部或预设的位置，基于内镜导航系统执行相应的手术操作过程。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种内镜导航系统，其特征在于，所述内镜导航系统包括混合现实设备、内镜和机器人，所述混合现实设备与所述机器人通信连接；

所述混合现实设备用于获取所述内镜采集的目标实体图像，建立与所述目标实体图像对应的三维重建模型；确定所述内镜在目标实体中的目标位姿；基于所述三维重建模型确定所述目标位姿与预设的目标区域的距离是否满足预设的距离阈值，若所述距离不满足所述预设的距离阈值时，发出碰撞提醒；

所述机器人包括机械臂，所述机械臂用于夹持所述内镜并控制所述内镜按照预设轨迹运动；

所述内镜包括内镜镜头，所述内镜镜头用于采集所述目标实体图像，并将所述目标实体图像发送至所述混合现实设备。

2.根据权利要求1所述的系统，其特征在于，所述混合现实设备包括三维重建模块和显示屏；

所述三维重建模块用于接收所述内镜发送的目标实体图像，并对所述目标实体图像进行三维场景重建，得到与所述目标实体图像对应的三维重建模型，并将所述三维重建模型发送至所述显示屏；

所述显示屏用于接收所述三维重建模块发送的三维重建模型并进行显示。

3.根据权利要求1所述的系统，其特征在于，所述混合现实设备还包括位姿确定模块；

所述位姿确定模块用于获取所述内镜的初始位姿和所述内镜的位姿变化量，基于所述初始位姿以及所述位姿变化量确定所述内镜的目标位姿。

4.根据权利要求3所述的系统，其特征在于，所述内镜包括加速度传感器；

所述加速度传感器用于在确定所述内镜的目标位姿之前，获取所述内镜的位姿变化量，并将所述位姿变化量发送至所述位姿确定模块。

5.根据权利要求1所述的系统，其特征在于，所述混合现实设备包括叠加模块；

所述叠加模块用于获取所述内镜的图像，基于所述内镜的图像以及所述内镜在目标实体中的目标位姿，将所述内镜叠加至所述三维重建模型中，得到包含所述内镜在内的目标三维模型。

6.根据权利要求5所述的系统，其特征在于，所述混合现实设备还包括计算模块和碰撞提醒模块；

所述计算模块用于计算所述内镜在目标三维模型中的第一位置与所述预设的目标区域的第二位置之间的距离，并将所述距离发送至所述碰撞提醒模块，所述第二位置为所述预设的目标区域的边界上的任意点所在的位置；

所述碰撞提醒模块用于将所述距离与预设的距离阈值进行比较，在确定所述距离小于所述预设的距离阈值时，向用户发出碰撞提醒。

7.根据权利要求1所述的系统，其特征在于，所述系统还包括校准模块；

所述校准模块用于在所述机械臂控制所述内镜按照预设轨迹运动之前，对所述机械臂进行校准。

8.根据权利要求7所述的系统，其特征在于，所述校准模块包括发射器、位置传感器和校准单元；所述机械臂上安装有至少三个靶标；

所述发射器用于向所述机械臂发射红外光以使所述至少三个靶标接触到所述红外光；

所述位置传感器用于捕捉所述至少三个靶标反射的红外光，并基于所述至少三个靶标反射的红外光确定所述靶标的位姿；

所述校准单元用于基于所述靶标与所述机械臂的位置关系确定所述机械臂的位置，并基于预设的初始位置和所述机械臂的位置对所述机械臂进行校准。

9.根据权利要求1所述的系统，其特征在于，所述机器人还包括语音控制模块；

所述语音控制模块用于接收用户发送的语音控制指令，对所述语音控制指令进行解析并执行与所述语音控制指令对应的操作。

10.根据权利要求1所述的系统，其特征在于，所述混合现实设备包括手势控制模块；

所述手势控制模块用于识别用户对虚拟控制界面的手势操作，并基于所述手势操作生成目标控制指令，将所述目标控制指令发送至所述机械臂，以使所述机械臂接收到所述目标控制指令后，执行与所述目标控制指令对应的操作。