CN112890954A - 机械臂运动控制方法、系统及外科手术系统 - Google Patents

Abstract

本公开涉及机械臂运动控制方法、系统及外科手术系统，机械臂末端用于搭载执行器；运动控制方法包括：由图形用户接口接收第一输入装置输入的第一控制指令，第一控制指令用于控制机械臂按照第一活动模式运动；接收第一输入装置或第二输入装置的第二控制指令，第二控制指令用于控制机械臂进入第二活动模式；接收第二输入装置输入第三控制指令，第三控制指令用于控制执行器执行预定运动；其中，第一输入装置与第二输入装置是相互分离的或者可相互分离设置。上述方法和系统提高了手术过程的流畅性，有利于提高手术质量和效率。

Description

机械臂运动控制方法、系统及外科手术系统

技术领域

本公开涉及外科手术机器人技术领域，特别是涉及一种机械臂运动控制方法、系统及外科手术系统。

背景技术

在计算机辅助手术系统中，可以采用协作机械臂辅助执行操作，协作机械臂的远端通常会搭载末端执行器。根据不同的场景，末端执行器的一端会搭载不同的医用器械，例如锯、钻或铣刀等。通过协作机械臂-末端执行器-医用器械三者之间的机械连接机构和控制操作，实现对目标的切割、钻或铣削等操作。

以末端执行器搭载电动摆锯用于辅助截骨为例，电动摆锯的锯片由当前任意位置进入待刀位、由待刀位进入截骨位置的过程，称为走位。机械臂移动使锯片进入截骨位置后，将机械臂的活动自由度限定在截骨平面内，使锯片只能在锁定的平面内移动，再使电动摆锯上电，由医师推动机械臂控制锯片与患骨接触。完成一个位置的截骨后，再走位进入下一个截骨位置，继续进行截骨。过程中显示器可实时显示锯片和患骨的数字三维模型的相对位置以及其他提示信息，供专业医师参考。上述操作均由专业医师完成，以保证对截骨的掌控权。专业医师在进行截骨操作时需要高度集中注意力，避免切割到软组织。对于不熟悉操作的医生或者刚完成一次注意力高度集中的截骨操作的医生，可能需要努力思考才能想起下一步应该对机械臂进行的操作，造成手术过程不够流畅，手术耗时增加。

发明内容

本公开提供的机械臂运动控制方法、系统及外科手术系统，可以提高手术过程的流畅性。

第一方面，提供一种机械臂的运动控制方法，机械臂末端用于搭载执行器，方法包括：由图形用户接口接收第一输入装置输入的第一控制指令，第一控制指令用于控制机械臂按照第一活动模式运动；接收第一输入装置或第二输入装置的第二控制指令，第二控制指令用于控制机械臂进入第二活动模式；接收第二输入装置输入第三控制指令，第三控制指令用于控制执行器执行预定运动；其中，第一输入装置与第二输入装置是相互分离的或者可相互分离设置。

在第一种可能的实现方式中，方法还包括：通过第一输入装置或者第二输入装置输入第四控制指令，第四控制指令用于控制机械臂停止按照第一活动模式运动。

结合上述可能的实现方式，在第二种可能的实现方式中，由图形用户接口接收第一输入装置输入的第一控制指令包括：图形用户接口接收预控制指令以提供第一控制接口集，第一控制接口集接收第一输入装置输入的第一控制指令。

结合上述可能的实现方式，在第三种可能的实现方式中，方法还包括：第三控制指令执行结束后，图形用户接口提供第一控制接口集，第一控制接口集用于接收第一输入装置输入的第一控制指令。

结合上述可能的实现方式，在第四种可能的实现方式中，第一活动模式为机械臂在自身动力的驱动下由当前位置运动到目标位置；并且/或者，第二活动模式为机械臂被设置为其末端可在外力驱动下在预定平面内平移和绕该平面的法线旋转。

第二方面，提供一种机械臂运动控制系统，机械臂末端用于搭载执行器，系统包括带有图形用户接口的控制器、第一输入装置和第二输入装置，其中：图形用户接口用于接收第一输入装置输入的第一控制指令，第一控制指令用于控制机械臂按照第一活动模式运动；图形用户接口还用于接收第一输入装置或第二输入装置的第二控制指令，第二控制指令用于控制机械臂进入第二活动模式；第二输入装置用于输入第三控制指令，第三控制指令用于控制执行器执行预定运动；其中，第一输入装置与第二输入装置是相互分离的或者可相互分离设置。

在第一种可能的实现方式中，第一输入装置和第二输入装置还用于输入第四控制指令，第四控制指令用于控制机械臂停止按照第一活动模式运动。

结合上述可能的实现方式，在第二种可能的实现方式中，图形用户接口还用于接收预控制指令以提供第一控制接口集，第一控制接口集接收第一输入装置输入的第一控制指令。

结合上述可能的实现方式，在第三种可能的实现方式中，，图形用户接口还用于，在第三控制指令执行结束后提供第一控制接口集，第一控制接口集用于接收第一输入装置输入的第一控制指令。

结合上述可能的实现方式，在第四种可能的实现方式中，第一活动模式为机械臂在自身动力的驱动下由当前位置运动到目标位置；并且/或者，第二活动模式为机械臂被设置为其末端可在外力驱动下在预定平面内平移和绕该平面的法线旋转。

结合上述可能的实现方式，在第五种可能的实现方式中，第一输入装置为语音输入模块、机械按键、机械摇杆或无线遥控器。

第三方面，提供一种外科手术系统，系统包括机械臂、控制系统和定位系统，定位系统用于定位机械臂的空间方位信息，控制系统用于基于空间方位信息控制机械臂运动，控制系统为第二方面中任一的机械臂运动控制系统。

上述方法和系统中，可以根据需要将第一输入装置和第二输入装置配置在不同操作人员的控制范围内，如第一操作人员控制第一输入装置进行输入，第二操作人员控制第二操作装置进行输入，这样可以允许不同角色进行不同的输入，以控制机械臂在不同阶段执行不同的动作，各角色可以只关注自身所需的输入，无需熟悉全流程的输入操作，从而为提高流程的流畅度提供可能性。

附图说明

下面将参考附图来描述本公开示例性实施例的特征、优点和技术效果。在附图中，相同的部件使用相同的附图标记。附图并未按照实际的比例绘制。

图1为一种使用机械臂进行外科手术的场景示意图；

图2为本公开实施例提供的机械臂的运动控制方法的流程框图；

图3为本公开实施例提供的图形用户接口示意图；

图4为本公开实施例提供的机械臂运动控制系统的结构示意图；

图5为本公开实施例提供的第二输入装置的结构示意图。

P-手术台，AM-机械臂，E-末端执行器，K-摆锯，A-控制计算机，I-图像显示设备，V0-第三接口，V1-第一接口，V2-第二接口；

10-第一输入装置；20-第二输入装置，21-左上键，22-右上键，23-主键；30-控制器，31-图形用户接口；

0、1、2、3、4、5、6-刀位选择按钮。

具体实施方式

下面将详细描述本公开的各个方面的特征和示例性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本公开的全面理解。但是，对于本领域技术人员来说很明显的是，本公开可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本公开的示例来提供对本公开的更好的理解。在附图和下面的描述中，至少部分的公知结构和技术没有被示出，以便避免对本公开造成不必要的模糊；并且，为了清晰，可能夸大了部分结构的尺寸。此外，下文中所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本公开提供一种机械臂的运动控制方法，可以优化操作流程。机械臂末端用于搭载执行器，执行器可以是电动驱动装置，执行器可以搭载例如钻或锯等工具。运动控制方法包括：由图形用户接口接收第一输入装置输入的第一控制指令，第一控制指令用于控制机械臂按照第一活动模式运动；由图形用户接口接收第一输入装置或第二输入装置的第二控制指令，第二控制指令用于控制机械臂进入第二活动模式；由第二输入装置输入第三控制指令，第三控制指令用于控制执行器执行预定运动；其中，第一输入装置与第二输入装置是相互分离的或者可相互分离设置。

上述控制方法中，可以根据需要将第一输入装置和第二输入装置配置在不同操作人员的控制范围内，如第一操作人员控制第一输入装置进行输入，第二操作人员控制第二操作装置进行输入，这样可以允许不同角色进行不同的输入，以控制机械臂在不同阶段执行不同的动作，各角色可以只关注自身所需的输入，无需熟悉全流程的输入操作，从而为提高流程的流畅度提供可能性。并且，可以利用已有的图形用户接口提供输入接口，操作人员在输入过程中参考图形用户接口界面的文字图形提示，便于准确输入。

参考图1至图3，图1示出了一种使用机械臂进行外科手术的场景示意图，图2示出了本公开实施例提供的机械臂的运动控制方法的流程框图，图3为本公开实施例提供的图形用户接口示意图。

本公开实施例提供的机械臂的运动控制方法，可应用于外科手术系统的机械臂，为便于描述，本公开实施例以全膝关节置换手术为例进行说明。

如图1所示，患者平躺在手术台P上，机械臂AM的末端搭载末端执行器E，末端执行器E的远端搭载摆锯K，摆锯K可以执行切割操作。机械臂AM的末端位于患者患处附近。距离手术台P较远的位置设置有控制计算机A，控制计算机A包括图像显示设备I及键盘鼠标等输入设备，用于显示所需信息及提供图形用户接口。第一操作人员可以位于手术台P旁，并且位于机械臂AM旁以便直接接触和操作机械臂。第一操作人员站立的位置附近可以设置输入设备(图未示)，输入设备可以是如图5所示的第二输入装置20，具体可以为机械脚踏装置，可以包括主键23、左上键21和右上键22。第二输入装置20通过电缆与控制计算机A可传递信息地连接。第二操作人员可以在控制计算机A旁边，并结合显示设备I显示的图形用户接口对其进行操作。

全膝关节置换手术一般需要对膝关节进行六次不同位置的截骨操作，每次截骨前需要使摆锯K与规划的截骨平面重合。一些对齐操作方法中，由人力拖拽机械臂使摆锯K与规划的截骨平面重合。具体地，手术系统可以实时获知摆锯K与规划的截骨平面之间的相对位置关系并能够将二者的相对位置关系可视化(如以数字三维模型显示)。人工拖动机械臂移动并参考显示设备显示的相对位置关系调整机械臂的方位，显示设备显示对齐后，通过人工将机械臂锁定在当前位置。

本公开提供的机械臂控制方法，机械臂接收第一输入装置输入的第一控制指令，使机械臂按照第一活动模式活动，即：机械臂靠自身动力和系统导航的导航自动由初始位置到达截骨位置；到达截骨位置后，机械臂接收第二输入装置的第二控制指令，并进入第二活动模式，即：将机械臂末端的活动范围限定在一个平面内，活动方式为只能在该平面内平移和绕该平面的法线旋转，并且是在受到外力(如操作人员的推拉)驱动时才能安装上述活动方式活动。

具体地，第一输入装置可以为鼠标或键盘，可以设置在图1所示的控制计算机A旁，由第一操作人员操作。第一操作人员可以为助理医师、护士或设备控制人员。第一控制指令可藉由人机交互接口输入控制计算机，再由控制计算机发送至机械臂；更具体地，控制计算机为上位机，机械臂由作为下位机的工控机直接控制，第一控制指令由上位机发送到下位机，下位机控制机械臂移动。图形用户接口可包括如图3所示的第一控制接口集：第一接口V1和第二接口V2。第一接口V1和第二接口V2为虚拟按钮，鼠标控制的光标可点击或按住虚拟按钮以输入指令，与点击或按住的操作对应有预定的控制指令，如操作“按住第一接口V1”对应的指令为第一控制指令，该指令对应的运动是机械臂AM末端按照预定路径移动，在此基础上操作“松开第一接口V1”对应的是“停止运动”的第四控制指令；或者，操作“点击第一接口V1”对应的控制指令对应的运动是机械臂AM末端按照预定路径移动，在此基础上，操作“点击第二接口V2”对应的第四控制指令可以控制机械臂停止当前运动。

第二输入装置可以为机械脚踏装置，机械脚踏装置包括机械按钮。第二输入装置可以设置在手术台P旁边，便于控制机械臂AM的人员踩踏操作。机械臂AM到达截骨位置时，接收由第二输入装置输入的第二控制指令，进入第二活动模式。操作第二输入装置进行输入操作的人员可以为直接推动机械臂AM的人员，如主刀医师。具体的操作可以为点踩机械脚踏的一个按钮，如图5所示的左上键21。在一些可选实施例中，也可以通过图形用户接口接收第一输入装置输入的控制指令控制机械臂进入第二活动模式。例如，如图3所示，通过鼠标操纵光标按住第一接口V1使机械臂AM按照第一活动模式运动，就位后，再通过鼠标操作光标点按第二接口V2，控制计算机接收该动作对应控制指令，控制机械臂AM进入第二活动模式。

操作人员扶持住机械臂AM后，机械臂接收第二输入装置输入的第三控制指令，执行器E开始执行预定动作，预定动作可以是摆锯K按照预定频率和幅度开始摆动。操作第二输入装置输入第三控制指令的人员可以为直接推动机械臂AM的人员，如主刀医师。具体的操作可以为踩住机械脚踏的一个按钮，如图5所示的主键23。主键23被松开时，控制计算机A可以检测到该动作的电信号并将该信号对应的控制指令发送至机械臂AM，控制执行器E停止前述的预定动作。在一些可选实施例中，第一控制接口集是临时性的，即，只在满足预定条件时出现。如，控制计算机收到预控制指令时，才使第一控制接口出现。预控制指令也可以是通过图形用户接口接收的，如图3所示，图形用户接口中包括第三接口V0，通过鼠标光标点击第三接口V0输入第一预控制指令，图形用户接口中产生新的控制接口，如“助手医师操作”和“专业医师操作”的选项按钮。再通过鼠标光标点选“助手医师操作”按钮输入第二预控制指令，调出第一接口V1和第二接口V2。在另一些可选实施例中，预控制指令还可以为第三控制指令执行结束的信号。在另一些可选实施例中，机械臂在执行第一控制指令时，末端执行器被设置为不能执行第三控制指令，以防止在机械臂移动时末端执行器开启而产生危险。

导航系统包括设置在机械臂上的机械臂示踪器、设置在患者身体的患者示踪器及定位器。患者示踪器可指示出规划的截骨平面方位信息，机械臂示踪器可指示出摆锯K的方位信息，定位器可以获知上述方位信息并传送至控制计算机。控制计算机控制机械臂按照预定路径向截骨平面移动，并在移动过程中不断对比二者之间相对方位关系，直至二者重合。示踪器包含至少三个具有预定相对位置的光源，光源可以为主动光源(如发光二极管)，也可以为被动光源(如红外反光球)。定位器可以为双目照相机，能够接受示踪器的光信号并定位示踪器的空间方位信息。

参考图4和图5，图4为本公开实施例提供的机械臂运动控制系统的结构示意图，图5为本公开实施例提供的第二输入装置的结构示意图。

机械臂运动控制系统用于控制机械臂的运动，机械臂末端用于搭载执行器。机械臂运动控制系统包括带有图形用户接口31的控制器30、第一输入装置10和第二输入装置10。其中，图形用户接口31用于接收第一输入装置10输入的第一控制指令，第一控制指令用于控制机械臂按照第一活动模式运动；图形用户接口31还用于接收第一输入装置10或第二输入装置20的第二控制指令，第二控制指令用于控制机械臂进入第二活动模式；第二输入装置20用于输入第三控制指令，第三控制指令用于控制执行器执行预定运动；第一输入装置10与第二输入装置20是相互分离的，可以分别配置在手术室中不同的位置。

第一输入装置10可以为鼠标，其对应的光标可以在图形用户接口31中显示，配置的位置可以是图1中图像显示设备I或控制计算机A附近。

第二输入装置10可以为图5所示的机械脚踏装置，可通过电缆与控制器30可通信地连接，可以配置在手术台P周围。

控制器30为控制计算机A或其中的控制单元，图形用户接口31为控制计算机A的输入输出接口，其由图像显示设备I呈现。控制器30可以向机械臂AM输出控制指令。

其中，第一控制指令、第二控制指令、第三控制指令和第四控制指令的输入方法可以与前述控制方法实施例中的输入方式一致，各个控制指令对应的机械臂的运动方式也可参考前述实施例中的描述。

在一些可选实施例中，第一输入装置10也可以输入第二控制指令。

在一些可选实施例中，第一输入装置10还可以为语音输入模块。操作人员可以由语音输入模块向控制器30输入语音指令，图形用户接口31接收对应指令生成相应的一个或多个输入接口(如虚拟按键)，再由其他语音指令或者其他输入装置选择所需的输入接口，完成输入。语音输入模块可以设置在控制计算机A附近以便于操作控制计算机A的人员进行输入，或者设置在其他位置，由预定人员进行输入。

在另一些可选实施例中，第一输入装置还可以为机械按键、机械摇杆或无线遥控器，可以设置在任意的位置。

在另一些可选实施例中，第二输入装置还可以为机械摇杆、机械按键或无线遥控器，第二输入装置可以设置在机械臂上、手术床边或手术室地面，只要便于操作机械臂的主治医师进行操作即可。

使用控制系统或控制方法的具体步骤示例参考如下说明：如图3所示，刀位选择按钮0为待刀位选择按钮，通过鼠标光标点选或者其他输入装置输入的指令选中该按钮时，机械臂末端可以移动到预设的位置。刀位选择按钮1至6为与膝关节置换手术中对应6个截骨位置选择按钮。手术操作中，可以先点选第三接口V0，图形用户接口中出现“助手医师操作”和“专业医师操作”的选择按钮，再选择“专业医师操作”的按钮，图形用户接口出现第一接口V1和第二接口V2。选择所需的截骨位置，如点选刀位选择按钮1，再通过鼠标按住第一接口V1，机械臂从待刀位以第一活动模式按照预定路径移动至刀位选择按钮1所对应的截骨位置。到达位置后，再点选第二接口V2，相应控制指令使机械臂进入第二活动模式，医师可以扶持住机械臂，再踩住图5所示的第二输入装置中的主键23，使末端执行器E的摆锯K摆动，医师推动机械臂移动开始截骨。

本公开还提供一种外科手术系统，其包括机械臂、控制系统和定位系统，定位系统用于定位机械臂的空间方位信息，控制系统用于基于空间方位信息控制机械臂运动，控制系统为前述实施例中任一说明的机械臂运动控制系统。

本公开提供的机械臂控制方法、系统及外科手术系统，允许不同角色通过不同的输入装置控制机械臂的不同阶段的运动，从而使各个角色可以只关注自身角色对应的操作，无需熟悉整个操作流程，有助于提高操作过程的流畅度。

虽然已经参考优选实施例对本公开进行了描述，但在不脱离本公开的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本公开并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

Claims (12)

1.一种机械臂的运动控制方法，所述机械臂末端用于搭载执行器，其特征在于，所述方法包括：

由图形用户接口接收第一输入装置输入的第一控制指令，所述第一控制指令用于控制所述机械臂按照第一活动模式运动；

接收所述第一输入装置或第二输入装置的第二控制指令，所述第二控制指令用于控制所述机械臂进入第二活动模式；

由第二输入装置输入第三控制指令，所述第三控制指令用于控制所述执行器执行预定运动；

其中，所述第一输入装置与所述第二输入装置是相互分离的或者可相互分离设置。

2.根据权利要求1所述的运动控制方法，其特征在于，还包括：通过所述第一输入装置或者所述第二输入装置输入第四控制指令，所述第四控制指令用于控制所述机械臂停止按照第一活动模式运动。

3.根据权利要求1所述的运动控制方法，其特征在于，所述由图形用户接口接收第一输入装置输入的第一控制指令包括：所述图形用户接口接收预控制指令以提供第一控制接口集，所述第一控制接口集接收所述第一输入装置输入的第一控制指令。

4.根据权利要求1所述的运动控制方法，其特征在于，还包括：所述第三控制指令执行结束后，所述图形用户接口提供第一控制接口集，所述第一控制接口集用于接收所述第一输入装置输入的第一控制指令。

5.根据权利要求1至4任一所述的运动控制方法，其特征在于，所述第一活动模式为所述机械臂在自身动力的驱动下由当前位置运动到目标位置；并且/或者，所述第二活动模式为所述机械臂被设置为其末端可在外力驱动下在预定平面内平移和绕该平面的法线旋转。

6.一种机械臂运动控制系统，所述机械臂末端用于搭载执行器，其特征在于，包括带有图形用户接口的控制器、第一输入装置和第二输入装置，其中：

所述图形用户接口用于接收第一输入装置输入的第一控制指令，所述第一控制指令用于控制所述机械臂按照第一活动模式运动；

所述图形用户接口还用于接收所述第一输入装置或第二输入装置的第二控制指令，所述第二控制指令用于控制所述机械臂进入第二活动模式；

所述第二输入装置用于输入第三控制指令，所述第三控制指令用于控制所述执行器执行预定运动；

其中，所述第一输入装置与所述第二输入装置是相互分离的或者可相互分离设置。

7.根据权利要求6所述的机械臂运动控制系统，其特征在于，所述第一输入装置和所述第二输入装置还用于输入第四控制指令，所述第四控制指令用于控制所述机械臂停止按照第一活动模式运动。

8.根据权利要求6所述的机械臂运动控制系统，其特征在于，所述图形用户接口还用于接收预控制指令以提供第一控制接口集，所述第一控制接口集接收所述第一输入装置输入的所述第一控制指令。

9.根据权利要求6所述的机械臂运动控制系统，其特征在于，所述图形用户接口还用于，在所述第三控制指令执行结束后提供第一控制接口集，所述第一控制接口集用于接收所述第一输入装置输入的第一控制指令。

10.根据权利要求6至9任一所述的机械臂运动控制系统，其特征在于，所述第一活动模式为所述机械臂在自身动力的驱动下由当前位置运动到目标位置；并且/或者，所述第二活动模式为所述机械臂被设置为其末端可在外力驱动下在预定平面内平移和绕该平面的法线旋转。

11.根据权利要求6至9任一所述的机械臂运动控制系统，其特征在于，所述第一输入装置为语音输入模块、机械按键、机械摇杆或无线遥控器。

12.一种外科手术系统，其特征在于，包括机械臂、控制系统和定位系统，所述定位系统用于定位机械臂的空间方位信息，所述控制系统用于基于所述空间方位信息控制所述机械臂运动，所述控制系统为权利要求6至11任一所述的机械臂运动控制系统。

Images