CN115957005A - 用于控制操作臂的方法和手术机器人系统 - Google Patents

Abstract

本公开涉及控制技术领域，公开一种用于控制操作臂的方法、计算机设备、计算机可读存储介质和手术机器人系统。用于控制操作臂的方法，包括：获取定位图像；在定位图像中，识别位于操作臂上的多个标识，多个标识包括多个用于标识位姿的位姿标识和至少一个用于标识位姿和角度的复合标识；基于至少一个复合标识和多个位姿标识，确定操作臂相对参考坐标系的当前相对位姿；以及基于当前相对位姿和操作臂的目标位姿，确定操作臂的驱动信号。

Description

用于控制操作臂的方法和手术机器人系统

技术领域

本公开属于控制技术领域，尤其涉及一种用于控制操作臂的方法和手术机器人系统。

背景技术

随着技术的发展，由人工或者计算机控制相关机器设备执行期望的动作以辅助或者替代操作人员变得越来越普及。例如，使用物流机器人进行快递的分拣，使用手术机器人辅助医生执行手术等。

上述应用中，需要对操作臂进行控制，从而实现机器设备的控制。

发明内容

在一些实施例中，本公开提供了一种用于控制操作臂的方法，包括：获取定位图像；在定位图像中，识别位于操作臂上的多个标识，多个标识包括多个用于标识位姿的位姿标识和至少一个用于标识位姿和角度的复合标识；基于至少一个复合标识和多个位姿标识，确定操作臂相对参考坐标系的当前相对位姿；以及基于当前相对位姿和操作臂的目标位姿，确定操作臂的驱动信号。

在一些实施例中，本公开提供了一种计算机设备，计算机设备包括：存储器，用于存储有至少一条指令；以及处理器，与存储器耦合，用于执行至少一条指令以执行本公开一些实施例中任一项的方法。

在一些实施例中，本公开提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器执行以使计算机执行本公开一些实施例中任一项的方法。

在一些实施例中，本公开提供了一种手术机器人系统，包括：手术工具，手术工具包括操作臂、设置在操作臂远端的执行器以及设置在操作臂的末端上的至少一个复合标识和多个位姿标识；图像采集器，用于采集操作臂的定位图像；以及处理器，与图像采集器连接，用于执行本公开一些实施例中任一项的方法以确定操作臂的驱动信号。

附图说明

图1示出根据本公开一些实施例的控制系统的示意图；

图2示出根据本公开一些实施例的包括多个标识的标签的示意图；

图3示出根据本公开一些实施例设置在操作臂末端周侧并形成圆筒形的标签的示意图；

图4示出根据本公开一些实施例的实施场景的示意图；

图5示出根据本公开一些实施例的操作臂控制系统的控制方法的流程图；

图6示出根据本公开一些实施例的确定操作臂相对参考坐标系的当前相对位姿的方法的流程图；

图7示出根据本公开另一些实施例的确定操作臂相对参考坐标系的位姿的方法的流程图；

图8示出根据本公开一些实施例的用于识别标识的方法的流程图；

图9示出根据本公开一些实施例的位姿标识图案的示意图；

图10示出根据本公开一些实施例的用于搜索标识的方法的流程图；

图11示出根据本公开一些实施例的搜索标识的示意图；

图12示出根据本公开一些实施例的操作臂的构节的示意图；

图13示出根据本公开一些实施例的操作臂的结构示意图；

图14示出根据本公开一些实施例的用于确定驱动信号的方法的流程图；

图15示出根据本公开一些实施例的计算机设备的示意图；

图16出根据本公开一些实施例的手术机器人系统的示意图。

具体实施方式

下面结合附图描述本公开的示例性实施例，本领域技术人员可以理解，本公开的范围并不仅限于这些实施方案。本公开可以在下述实施方案的基础上作出各种改进和变化。这些改进和变化都包括在本公开的范围之内。在本公开的附图所示的各个实施方案之间，相似附图标记指示相似部件。

在本公开中，术语“位置”指物体或物体的一部分在三维空间中的定位(例如，可使用笛卡尔X、Y和Z坐标方面的变化描述三个平移自由度，例如分别沿笛卡尔X轴、Y轴和Z轴的三个平移自由度)。在本公开中，术语“姿态”指物体或物体的一部分的旋转设置(例如三个旋转自由度，可使用滚转、俯仰和偏转来描述这三个旋转自由度)。在本公开中，术语“位姿”指物体或物体的一部分的位置和姿态的组合，例如可使用以上提到的六个自由度中的六个参数来描述。

在本公开中，参考坐标系可以理解为描述物体位姿的坐标系。根据实际的定位需求，参考坐标系可以选择以虚拟参照物的原点或实体参照物的原点为坐标系原点。在一些实施例中，参考坐标系可以为世界坐标系或者相机坐标系或者操作人员自身的感知坐标系等。在本公开中，物体可以理解为需要被定位的对象或目标，例如操作臂或者操作臂末端或者设置在操作臂末端的远端的执行器。其中，操作臂可以是刚性臂或者可形变臂。在本公开中，操作臂或其一部分的位姿是指操作臂或其一部分定义的操作臂坐标系相对于参考坐标系的位姿。

图1示出根据本公开一些实施例的控制系统100的示意图。如图1所示，控制系统100可以包括图像采集设备110、至少一个操作臂140和控制装置120。图像采集设备110和至少一个操作臂140分别与控制装置120通信连接。在一些实施例中，如图1所示，控制装置120可以用于控制至少一个操作臂140的运动，以调整至少一个操作臂140的位姿、相互协调等。在一些实施例中，至少一个操作臂140在末端或远端处可以包括操作臂末端130。控制装置120可以控制至少一个操作臂140运动，以使操作臂末端130运动至期望的位置和姿态。本领域的技术人应理解，控制系统100可以应用于手术机器人系统，例如腔镜手术机器人系统。例如，操作臂末端130的远端处可以设置执行器160，如图1所示。应当理解，控制系统100还可以应用于其他领域(例如，制造、机械等等)的专用或通用机器人系统。

在本公开中，控制装置120可以与至少一个操作臂140的驱动单元150(例如电机)通信连接并向驱动单元150发送驱动信号，从而使驱动单元150基于驱动信号控制至少一个操作臂140运动到相应的目标位姿。例如，控制操作臂140运动的驱动单元150可以为伺服电机，可以接受控制装置的指令以控制操作臂140运动。控制装置120还可例如通过通信接口与驱动单元150耦合的传感器通信连接，以接收操作臂140的运动数据，实现对操作臂140的运动状态监控。在本公开的一个示例中，该通信接口可以为CAN(Controller AreaNetwork)总线通信接口，其使得控制装置120能够通过CAN总线与驱动单元150以及传感器连接通信。在一些实施例中，控制装置120可以包括本地处理器(例如，本地的计算机设备)或者云端处理器(例如，云服务器或者云计算平台)。

在一些实施例中，操作臂140可以包括连续体可形变臂，例如由多个关节构成的具有多自由度的操作臂，诸如可以实现6个自由度运动的操作臂。

在一些实施例中，图像采集设备110可以用于采集定位图像。定位图像中可以包括操作臂140的部分或全部的图像。在一些实施例中，图像采集设备110可以用于采集操作臂末端130的图像，操作臂末端130上可以设置有多个不同的位姿标识，这些位姿标识包括不同的位姿标识图案。例如，操作臂末端130上可以设置有定位标签170(定位标签170例如可以是图2所示的标签200)。定位标签170可以包括多个标识，多个标识包括多个用于标识位姿的位姿标识和至少一个用于标识位姿和角度的复合标识(如下详述)。

如图1所示，操作臂末端130处于图像采集设备110的观测视野之内，则采集的定位图像中可以包括操作臂末端130的图像。在一些实施例中，图像采集设备110可以包括但不限于双镜头图像采集设备或单镜头图像采集设备，例如双目或单目相机。根据不同的应用场景，图像采集模块110可以是工业相机、水下相机、微型电子相机、内窥镜相机等。在一些实施例中，图像采集模块110可以是位置固定的或者位置变化的，例如，固定在监控位置的工业相机或者位置或姿态可调节的内窥镜相机。在一些实施例中，图像采集模块110可以实现可见光波段成像、红外波段成像、CT(Computed Tomography，电子计算机断层扫描)成像和声波成像等中的至少一种。根据采集的图像的种类不同，本领域技术人员可以选择不同的图像采集设备作为图像采集模块110。

在一些实施例中，控制装置120可以接收来自图像采集设备110的定位图像，并且对定位图像进行处理。例如，控制装置120可以在定位图像中，识别位于操作臂140上的多个标识，并且确定操作臂140或者执行器160相对参考坐标系(例如世界坐标系)的相对位姿。控制装置120还可以基于操作臂140或者执行器160的当前相对位姿和目标位姿，确定操作臂140的驱动信号。驱动信号可以发送到驱动单元150，以对操作臂140进行运动控制。

在一些实施例中，操作臂(例如，图1所示的操作臂140或操作臂末端130，图13所示的操作臂主体1320或操作臂末端1310)上分布有多个标识。在一些实施例中，多个标识设置在操作臂的柱状部分的外表面上。例如，多个标识沿周向分布在操作臂末端130上。例如，多个标识设置在操作臂末端130的柱状部分的外表面上。多个标识可以包括多个用于标识位姿的位姿标识和多个用于标识位姿和角度(例如绕轴角度或滚转角)的复合标识。在一些实施例中，操作臂的柱状部分的外表面上设置有定位标签(例如，图2所示的标签200)，多个标识可以包括沿柱状部分的周向分布在定位标签上的多个标识图案以及多个在标识图案中的标识图案角点。多个标识图案包括多个不同的复合标识图案和多个位姿标识图案，多个位姿标识图案可以相同。复合标识图案和其中的图案角点可以用于标识位姿和角度，位姿标识图案和其中的图案角点可以用于标识位姿。在一些实施例中，多个不同的复合标识图案和多个位姿标识图案位于同一图案分布带。在一些实施例中，多个标识图案中N个连续的标识图案中至少包括一个复合标识图案，其中2≤N≤4，N个连续的标识图案中的复合标识图案与位姿标识图案不同。例如，多个标识图案可以均匀分布在柱状部分的外表面上，多个复合标识图案可以均匀间隔分布在多个位姿标识图案中，比如每3个位姿标识图案，插入一个复合标识图案，如图2所示。

在一些实施例中，标识图案可以设置在操作臂末端上的标签上，或者可以印刷在操作臂末端上，或者可以是由操作臂末端自身的物理构造形成的图案，例如，可以包括凹陷或凸起及其组合。在一些实施例中，标识图案可以包括以亮度、灰度、色彩等形成的图案。在一些实施例中，标识图案可以包括主动(例如，自发光)或被动(例如，反射光线)提供被图像采集设备探测的信息的图案。本领域技术人员可以理解，在一些实施例中，标识的位姿或者标识图案的位姿可以由标识图案角点坐标系的位姿来表示。在一些实施例中，标识图案设置在操作臂末端上适于被图像采集设备采集图像的区域，例如，在工作过程中可以被图像采集设备的视场覆盖的区域或者在工作过程中不容易被干扰或遮挡的区域。

图2示出根据一些实施例的包括多个标识的标签200的示意图。图3示出设置在操作臂末端周侧并形成圆筒形的标签300的示意图。可以理解，简单起见，标签200可以与标签300包括相同的标识图案。

参看图2，多个标识包括多个位姿标识图案210和其中的多个位姿标识图案角点P₂₁₀，以及复合标识图案220和其中的复合标识图案角点R₂₂₀。在一些实施例中，如图2所示，多个位姿标识图案210和复合标识图案220设置在同一图案分布带。在本公开中以“○”符号表示位姿标识图案角点，以“△”符号表示复合标识图案角点。在一些实施例中，可以通过识别位姿标识图案210或者位姿标识图案角点P₂₁₀确定位姿标识，通过识别复合标识图案220或者复合标识图案角点R₂₂₀确定复合标识。

参看图3，在周向设置状态下，标签200变为空间构造为圆筒形的标签300。在一些实施例中，每个标识的绕轴角度或者滚转角可以通过标识图案或标识图案角点的绕轴角度表示，其中标识图案包括位姿标识图案310和复合标识图案320。每个标识图案或标识图案角点标识的绕轴角度是已知的或预先确定的。在一些实施例中，基于多个标识(标识图案或标识图案角点)的分布，可以确定每个标识所标识的绕轴角度。在一些实施例中，多个标识可以均匀分布(例如，标签200中的标识图案角点等间距分布，标签300中的标识图案角点等分布角分布)。在一些实施例中，基于多个标识的分布，每个标识可以用于标识特定的绕轴角度，每个标识与所标识的绕轴角度具有一一对应关系。在本公开中，绕轴角度或者滚转角是指绕Z轴(例如，操作臂坐标系或标识坐标系的Z轴)的角度。在一些实施例中，操作臂是可形变的操作臂，Z轴是沿操作臂的切线方向。

如图3所示，标签300中多个标识图案沿圆柱形结构周向均匀分布，多个标识图案角点均匀分布在截面圆330上，则任意相邻的标识图案角点的分布角(例如，角度α₀)相等。设定X轴指向的标识图案角点P₃₀₁，P₃₀₁作为标识0°绕轴角度的参照角点(标识图案角点P₃₀₁所在的标识图案作为参照图案)，则可以根据任意标识图案角点与标识图案角点P₃₀₁的位置关系确定该标识图案角点标识的绕轴角度。

在一些实施例中，标识图案角点在设定坐标系(例如，图3中所示的标识坐标系{wm0}≡[X_wm0 Y_wm0 Z_wm0]^T)中标识的绕轴角度可以基于以下公式(1)确定：

α_m＝α₀(m-1)   (1)

其中，α_m为以选定的标识图案角点(例如，标识图案角点P₃₀₁)作为第一个标识图案角点，按照截面圆330的顺时针方向，第m个标识图案角点的绕轴角度。

在一些实施例中，多个位姿标识图案可以为相同的图案或者不同的图案。在一些实施例中，多个复合标识图案为不同的图案，每个复合标识图案可以用于标识特定的绕轴角度，每个复合标识图案与所标识的绕轴角度具有一一对应关系。

图4示出根据本公开一些实施例的实施场景400的示意图。如图4所示，操作臂440包括末端430以及远端的执行器460，多个标识(例如，位姿标识图案410和复合标识图案420)可以沿周向设置在末端430上。例如，如图2所示的标签200沿周向设置在操作臂末端430上。多个标识图案角点分布在操作臂末端430的截面圆431上。在一些实施例中，基于已识别出的标识，设立标识坐标系{wm0}≡[X_wm0 Y_wm0 Z_wm0]^T，标识坐标系{wm0}的原点为截面圆431的圆心，X轴方向为原点指向其中一个标识图案角点(例如，已识别出的位姿标识之一对应的图案角点P₄₀₁)，Z轴的方向平行于操作臂440的轴向，Y轴垂直于XZ平面。

在一些实施例中，基于多个复合标识，设立操作臂坐标系{wm}≡[X_wm Y_wm Z_wm]^T，操作臂坐标系{wm}的原点为截面圆431的圆心，X轴指向复合标识图案角点R₄₀₁，Z轴平行于操作臂440的轴向或与轴向重合，Y轴垂直于XZ平面。在一些实施例中，可以根据多个复合标识图案的分布，例如其余复合标识图案与复合标识图案角点R₄₀₁对应的复合标识图案的位置关系，确定复合标识图案包含的复合标识图案角点标识的绕轴角度。

本公开一些实施例提供了一种用于控制操作臂的方法。图5示出根据本公开一些实施例的用于控制操作臂的方法500的流程图。方法500中的部分或全部步骤可以由控制系统100的控制装置(例如控制装置120)来执行。控制装置120可以配置在计算设备上。方法500中的部分或全部步骤可以由软件、固件和/或硬件来实现。在一些实施例中，方法500可以由机器人系统(例如，图16所示的手术机器人系统1600)执行。在一些实施例中，方法500可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图16所示的处理器1620)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。

参看图5，在步骤501，获取定位图像。在一些实施例中，定位图像中包含操作臂上的多个标识。在一些实施例中，多个标识包括多个用于标识位姿的位姿标识和至少一个用于标识位姿和角度的复合标识。在一些实施例中，可以从如图1所示的图像采集设备110接收定位图像。例如，控制装置120可以接收图像采集设备110主动发送的定位图像。或者，控制装置120可以向图像采集设备110发送图像请求指令，图像采集设备110响应图像请求指令向控制装置120发送定位图像。

继续参看图5，在步骤503，在定位图像中，识别位于操作臂上的多个标识。例如，识别位于操作臂上的多个标识的示例性方法可以包括如图8和图10所示的方法。在一些实施例中，控制装置120可以通过图像处理算法识别定位图像中的部分或全部的标识。在一些实施例中，图像处理算法可以包括特征识别算法，图像处理算法可以提取或识别标识的特征。例如，图像处理算法可以包括角点检测算法，用于检测标识图案角点。该角点检测算法可以是包括但不限于基于灰度图的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测中的一种。例如，图像处理算法可以是颜色特征提取算法，用于检测标识图案中的颜色特征。再例如，图像处理算法可以是轮廓检测算法，用于检测标识图案的轮廓特征。在一些实施例中，控制装置可以通过识别模型识别定位图像中的部分或全部的标识。

继续参看图5，在步骤505，基于至少一个复合标识和多个位姿标识，确定操作臂相对参考坐标系的当前相对位姿。在一些实施例中，可以基于至少一个复合标识和多个位姿标识在定位图像中的二维坐标以及在操作臂坐标系中的三维坐标，确定操作臂坐标系相对参考坐标系的位姿，作为操作臂相对参考坐标系的当前相对位姿。

继续参看图5，在步骤507，基于当前相对位姿和操作臂的目标位姿，确定操作臂的驱动信号。在一些实施例中，方法500还可以包括以预定周期，确定操作臂的驱动信号，以通过多个运动控制循环实现实时控制。

在一些实施例中，方法500还可以包括接收控制命令；以及基于控制命令，确定操作臂的目标位姿。在一些实施例中，操作臂末端在世界坐标系中的目标位姿可以由用户通过输入装置输入。通过比较计算，可以确定操作臂末端的目标位姿和当前位姿的差值。在一些实施例中，可以基于主从运动的控制方式接收控制命令。例如，通过在每个运动控制循环中，获取主操作器的位姿或者主操作器的关节信息，确定操作臂的目标位姿。通过多个运动控制循环，可以进行实时主从运动的控制。

在一些实施例中，方法500还可以包括确定多个标识在定位图像中的二维坐标。在一些实施例中，标识的坐标可以通过标识图案角点的坐标表示。例如，标识在定位图像中的二维坐标和在操作臂坐标系中的三维坐标可以通过标识图案角点的坐标表示。在一些实施例中，确定多个标识在定位图像中的二维坐标可以包括确定至少一个复合标识和多个位姿标识在定位图像中的二维坐标。在一些实施例中，方法500还可以包括基于至少一个复合标识，确定至少一个复合标识和多个位姿标识在操作臂坐标系中的三维坐标。

在一些实施例中，方法500还可以包括基于至少一个复合标识图案角点和多个位姿标识图案角点在定位图像中的二维坐标以及在操作臂坐标系中的三维坐标和相机坐标系相对参考坐标系的变换关系，确定操作臂坐标系相对参考坐标系的位姿。在一些实施例中，相机坐标系相对参考坐标系的变换关系可以是已知的。例如，参考坐标系为世界坐标系，相机坐标系相对世界坐标系的变换关系可以根据相机摆放的位姿确定。另一些实施例中，根据实际的需求，参考坐标系也可以是相机坐标系本身。在一些实施例中，基于相机成像原理与投影模型，基于至少一个复合标识图案角点和多个位姿标识图案角点在定位图像中的二维坐标以及在操作臂坐标系中的三维坐标，确定操作臂坐标系相对相机坐标系的位姿。基于操作臂坐标系相对相机坐标系的位姿和相机坐标系相对参考坐标系的变换关系，可以得到操作臂坐标系相对参考坐标系的位姿。

在一些实施例中，还可以考虑相机的内参。例如，相机的内参可以是如图1所示的图像采集设备110的相机内参。相机的内参可以是已知的或者经过标定而得到的。在一些实施例中，相机坐标系可以理解为以相机原点建立的坐标系。例如，以相机的光心为原点建立的坐标系或者以相机的镜头中心为原点建立的坐标系。当相机为双目相机时，相机坐标系的原点可以是相机左镜头的中心，或者右镜头的中心，或者左右镜头中心连线上的任意一点(例如该连线的中点)。

在一些实施例中，操作臂坐标系相对参考坐标系(例如，世界坐标系)的位姿可以基于以下公式(2)确定：

^wR_wm＝^wR_lens ^lensR_wm

^wP_wm＝^wR_lens( ^lensR_wm+^lensP_wm)+^wP_lens   (2)

其中，^wR_wm为操作臂坐标系相对世界坐标系的姿态，^wP_wm为操作臂坐标系相对世界坐标系的位置，^wR_lens为相机坐标系相对世界坐标系的姿态，^wP_lens为相机坐标系相对世界坐标系的位置，^lensR_wm为操作臂坐标系相对相机坐标系的姿态，^lensP_wm为操作臂坐标系相对相机坐标系的位置。

图6示出根据本公开一些实施例的确定操作臂相对参考坐标系的当前相对位姿的方法600的流程图。方法600中的部分或全部步骤可以由控制系统100的控制装置(例如控制装置120)来执行。控制装置120可以配置在计算设备上。方法600中的部分或全部步骤可以由软件、固件和/或硬件来实现。在一些实施例中，方法600可以由机器人系统(例如，图16所示的手术机器人系统1600)执行。在一些实施例中，方法600可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图16所示的处理器1620)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。

参看图6，在步骤601，确定至少一个复合标识和多个位姿标识在标识坐标系中的三维坐标。在一些实施例中，每个标识图案角点在标识坐标系{wm0}中的三维坐标可以基于以下公式(3)确定：

C_m＝[r·cosα_m r·sinα_m 0]^T   (3)

其中，C_m为以选定的标识图案角点作为第一个标识图案角点(例如，位姿标识图案角点P₄₀₁)，按照截面圆431的顺时针方向，第m个标识图案角点在标识坐标系中的三维坐标，r为半径。

在一些实施例中，基于公式(1)确定第m个标识图案角点标识的绕轴角度α_m，之后基于公式(1)确定的绕轴角度α_m和公式(3)确定第m个标识图案角点在标识坐标系{wm0}中的三维坐标C_m。

参看图6，在步骤603，基于至少一个复合标识，确定标识坐标系相对操作臂坐标系的滚转角。在一些实施例中，可以确定至少一个复合标识之一在操作臂坐标系中标识的第一绕轴角度，以及确定该复合标识在标识坐标系中标识的第二绕轴角度。基于第一绕轴角度和第二绕轴角度，可以确定标识坐标系相对操作臂坐标系的滚转角。在一些实施例中，参看图4，滚转角Δα可以是指标识坐标系{wm0}相对操作臂坐标系{wm}绕Z轴的转动角度。在一些实施例中，滚转角Δα可以基于以下公式(4)确定：

Δα＝α₁-α₂   (4)

其中α₁为第一绕轴角度，α₂为第二绕轴角度。第一绕轴角度为复合标识图案角点(例如，复合标识图案角点R₄₀₂)在操作臂坐标系中标识的绕轴角度，第二绕轴角度为复合标识图案角点(例如，复合标识图案角点R₄₀₂)在标识坐标系中标识的绕轴角度。

在一些实施例中，标识坐标系{wm0}的X轴指向复合标识图案角点(例如，复合标识图案角点R₄₀₂)，方法600还可以包括确定复合标识在操作臂坐标系中标识的第一绕轴角度作为标识坐标系相对操作臂坐标系的滚转角。在一些实施例中，可以基于复合标识所包括的图案，确定第一绕轴角度。

参看图6，在步骤605，基于标识坐标系相对操作臂坐标系的滚转角以及至少一个复合标识和多个位姿标识在标识坐标系中的三维坐标，确定至少一个复合标识和多个位姿标识在操作臂坐标系中的三维坐标。可以理解，已知标识坐标系相对操作臂坐标系的滚转角，可以根据坐标变换将多个标识图案角点(例如，复合标识图案角点和位姿标识图案角点)在标识坐标系中的三维坐标变换为在操作臂坐标系中的三维坐标。

参看图6，在步骤607，基于至少一个复合标识和多个位姿标识在定位图像中的二维坐标以及在操作臂坐标系中的三维坐标，确定操作臂坐标系相对参考坐标系的位姿，作为操作臂相对参考坐标系的当前相对位姿。在一些实施例中，方法600中的步骤607可以与方法500中确定操作臂坐标系相对参考坐标系的位姿类似地实现。

图7示出根据本公开另一些实施例的确定操作臂相对参考坐标系的当前相对位姿的方法700的流程图。方法700可以是图6的方法600的替换实施例。方法700中的部分或全部步骤可以由控制系统100的控制装置(例如控制装置120)来执行。控制装置120可以配置在计算设备上。方法700中的部分或全部步骤可以由软件、固件和/或硬件来实现。在一些实施例中，方法700可以由机器人系统(例如，图16所示的手术机器人系统1600)执行。在一些实施例中，方法700可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图16所示的处理器1620)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。

参看图7，在步骤701，基于至少一个复合标识和多个位姿标识在定位图像中的二维坐标以及在标识坐标系中的三维坐标，确定标识坐标系相对参考坐标系的位姿。在一些实施例中，至少一个复合标识和多个位姿标识在标识坐标系中的三维坐标可以与方法600中的步骤601类似地实现。

参看图7，在步骤703，基于至少一个复合标识，确定标识坐标系相对操作臂坐标系的滚转角。在一些实施例中确定标识坐标系相对操作臂坐标系的滚转角可以与方法600中的步骤603类似地实现。

参看图7，在步骤705，基于标识坐标系相对操作臂坐标系的滚转角以及标识坐标系相对参考坐标系的位姿，确定操作臂坐标系相对参考坐标系的位姿，作为操作臂相对参考坐标系的当前相对位姿。

例如，以参考坐标系为世界坐标系为例，操作臂坐标系相对世界坐标系的位姿可以基于以下公式(5)确定：

^wR_wm＝^wR_wm0·rot_z(Δα)

^wP_wm＝^wP_wm0            (5)

其中，^wR_wm为操作臂坐标系相对世界坐标系的姿态，^wP_wm为操作臂坐标系相对世界坐标系的位置，^wR_wm0为标识坐标系相对世界坐标系的姿态，^wP_wm0为标识坐标系相对世界坐标系的位置，rot_z(Δα)表示绕操作臂坐标系的Z轴转动滚转角Δα。

在一些实施例中，方法500还包括：基于操作臂相对参考坐标系的当前相对位姿，确定操作臂的末端器械相对参考坐标系的当前相对位姿；以及基于操作臂的末端器械的当前相对位姿和目标位姿，确定操作臂的驱动信号。在一些实施例中，可以基于操作臂的目标位姿确定操作臂的末端器械的目标位姿，以及基于末端器械相对参考坐标系的当前相对位姿和末端器械的目标位姿，确定操作臂的驱动信号。或者，可以接收用户输入的控制命令，以确定末端器械的目标位姿。例如，在每个运动控制循环中，获取主操作器的位姿或者主操作器的关节信息，确定末端器械的目标位姿。在一些实施例中，末端器械(例如，图1所示的执行器160)设置在操作臂的末端，因此末端器械的位置是已知的或者可以确定的。末端器械相对操作臂坐标系的位姿变换关系也是已知的或者预先确定的。在一些实施例中，以参考坐标系为世界坐标系为例，操作臂的末端器械相对参考坐标系的位姿可以基于以下公式(6)确定：

^wR_tip＝^wR_wm ^wmR_tip

^wP_tip＝^wR_wm ^wmP_tip+^wP_wm       (6)

其中，^wR_tip为末端器械相对世界坐标系的姿态，^wP_tip为末端器械相对世界坐标系的位置，^wmR_tip为末端器械相对操作臂坐标系的姿态，^wmP_tip为末端器械相对操作臂坐标系的位置。

在一些实施例中，基于公式(5)确定操作臂坐标系相对世界坐标系的姿态^wR_wm和位置^wP_wm，之后基于公式(5)确定的姿态^wR_wm和位置^wP_wm和公式(6)确定末端器械相对世界坐标系的姿态^wR_tip和位置^wP_tip。

图8示出根据本公开一些实施例的用于识别标识的方法800的流程图。如图8所示，该方法800中的部分或全部步骤可以由数据处理装置(例如，图1所示的控制装置120，图16所示的处理器1620)来执行。方法800中的部分或全部步骤可以由软件、固件和/或硬件来实现。在一些实施例中，方法800可以由机器人系统(例如，图16所示的手术机器人系统1600)执行。在一些实施例中，方法800可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图16所示的处理器1620)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。

参看图8，在步骤801，从定位图像中确定多个候选标识。在一些实施例中，标识可以包括在标识图案中的标识图案角点。候选标识的坐标或坐标系原点可以通过候选标识图案角点表示。在一些实施例中，候选标识图案角点可以是指经过对定位图像进行初步处理或者初步识别得到的可能的标识图案角点。

在一些实施例中，方法800可以包括在定位图像中确定感兴趣区域(Region ofInterest，ROI)。例如，可以先从定位图像中截取ROI，从ROI中确定多个候选标识。其中，ROI可以是定位图像的全图像，也可以是部分区域。例如，可以基于上一帧图像(例如，上一图像处理周期的定位图像)确定的多个标识图案角点一定范围内的区域截取当前帧的ROI。对非第一帧的定位图像，ROI可以为上一图像处理周期的多个标识图案角点的坐标构成的虚点为中心的一定距离范围内的区域。一定距离范围可以是标识图案角点平均间隔距离的固定倍数，例如两倍。应理解，预定倍数还可以是上一图像处理周期中多个候选标识图案角点平均间隔距离的可变倍数。

在一些实施例中，方法800可以包括确定定位图像中各像素点的角点似然值(Corner Likelihood,CL)。在一些实施例中，像素点的角点似然值可以是表征像素点作为特征点(例如，角点)的可能性的数值。在一些实施例中，在计算各像素点的角点似然值之前可以对定位图像进行预处理，之后确定预处理之后的图像中各像素点的角点似然值。图像的预处理例如可以包括：图像灰度化、图像去噪、图像增强中的至少一种。例如，图像预处理可以包括：从定位图像中截取ROI，将ROI转为相应的灰度图像。

在一些实施例中，确定ROI中的每个像素点的角点似然值的方式例如可以包括对ROI范围内每一个像素点进行卷积操作，得到每个像素点的一阶和/或二阶导数。利用ROI范围内每个像素点的一阶和/或二阶导数求出每个像素点的角点似然值。示例性地，各像素的角点似然值可以基于以下公式(7)确定：

其中，τ为设定的常数，例如设定为2；I_x、I₄₅、I_y、I_n45分别是像素点在0、π/4、π/2、-π/4四个方向的一阶导数；I_xy和I_{45_45}分别是像素点在0,π/2和π/4,-π/4方向的二阶导数。

在一些实施例中，方法800可以包括将ROI划分成多个子区域。例如，可以采用非极大抑制法在一个ROI范围中平均分割出多个子图像。在一些实施例中，可以将ROI平均分割成5×5像素的多个子图像。上述实施例为示例性的，并非限制性的，应当理解，还可以将定位图像或ROI分割成其他尺寸大小的多个子图像，例如，分割成9×9像素的多个子图像。

在一些实施例中，方法800可以包括确定每个子区域中角点似然值最大的像素以形成像素集合。例如，可以确定每个子图像中的CL值最大的像素点，将每个子图像中的CL值最大的像素点与第一阈值进行比较，确定CL值大于第一阈值的像素的集合。在一些实施例中，第一阈值可以设定为0.06。应当理解，第一阈值还可以设定为其他值。

参看图8，在步骤803，从多个候选标识中识别多个标识中的第一标识。在一些实施例中，基于标识图案匹配模板，识别第一标识。在一些实施例中，标识图案匹配模板包括至少一个位姿标识图案匹配模板与多个图案不同的复合标识图案匹配模板。在一些实施例中，基于多个图案不同的复合标识图案匹配模板，识别复合标识。例如，在位姿标识的标识图案相同的情况下，可以先将位姿标识图案匹配模板与候选标识匹配，如果匹配失败，再将多个不同的复合标识图案匹配模板逐一与候选标识匹配，直到匹配成功。

在一些实施例中，使用标识图案匹配模板与候选标识图案角点处的图案进行匹配，以识别第一标识。例如，确定达到预设位姿图案匹配度标准的候选标识图案角点为第一标识图案角点。在一些实施例中，标识图案匹配模板与标识图案角点附近区域的图案具有相同或相似的特征。若标识图案匹配模板与候选标识图案角点附近区域的图案的匹配度达到预设图案匹配度标准(例如，匹配度高于阈值)，则可以认为候选标识图案角点附近区域的图案与标识图案匹配模板具有相同或相似的特征，进而可认为当前的候选标识图案角点为标识图案角点。

在一些实施例中，确定像素集合中CL值最大的像素点，作为候选标识图案角点。例如，可以将该像素集合中的所有像素按CL值从大到小的顺序排序，并将CL值最大的像素作为候选标识图案角点。在一些实施例中，在确定了候选标识图案角点之后，使用标识图案匹配模板与候选标识图案角点处的图案进行匹配，如果达到了预设图案匹配度标准，则确定候选标识图案角点为识别出的第一标识图案角点。

在一些实施例中，方法800还可以包括响应于匹配失败，确定像素集合中剩余像素的角点似然值最大的像素作为候选标识图案角点。例如，如果候选标识图案角点未达到预设的匹配度标准，则选择次级CL值的像素点(CL值第二大的像素点)作为候选标识图案角点，使用标识图案匹配模板与该候选标识图案角点处的图案进行匹配，依次类推，直至识别出第一标识图案角点。

在一些实施例中，标识图案可以为黑白相间的棋盘格图形，因此标识图案匹配模板可以为相同的棋盘格图形，利用标识图案匹配模板的灰度分布G_M与候选标识图案角点对应的像素点的像素邻域灰度分布G_image间的相关性系数(Correlation Coefficient,CC)来进行匹配。像素点的像素邻域灰度分布G_image为以该像素点为中心一定范围内(例如，10×10像素)像的像素的灰度分布。相关性系数可以基于以下公式(8)确定：

其中，Var()为方差函数，Cov()为协方差函数。在一些实施例中，当相关性系数小于0.8时，像素领域内的灰度分布与标识图案匹配模板相关性较低，则判定该角点似然值最大的候选标识图案角点不是标识图案角点，否则认为该角点似然值最大的候选标识图案角点是标识图案角点。

在一些实施例中，方法800还可以包括确定候选标识图案角点的边缘方向。例如，如图9所示，候选位姿标识图案角点为位姿标识图案900中的角点P₉₀₁，那么该角点P₉₀₁的边缘方向可以是指形成角点P₉₀₁的边缘的方向，如图9中虚线箭头示意的方向。

在一些实施例中，边缘方向可以通过对以候选标识图案角点为中心的一定范围邻域(例如10×10像素)的每个像素在平面坐标系的X方向和Y方向的一阶导数值(I_x和I_y)确定。例如，边缘方向可以基于以下公式(9)确定：

其中，一阶导数(I_x和I_y)可以通过对一定范围邻域范围内每一个像素点进行卷积操作得到。一些实施例中，通过对每个范围邻域内的像素点的边缘方向I_angle和对应的权重I_weight进行聚类计算获得该像素点的边缘方向，选择权重I_weight占比最大的类对应的I_angle作为边缘方向。需要说明的是，如果存在多个边缘方向，则选择权重I_weight占比最大的多个类对应的I_angle作为边缘方向。

在一些实施例中，聚类计算所用的方法可以是K均值方法、BIRCH(BalancedIterative Reducing and Clustering using Hierarchies，基于层次结构的平衡迭代聚类方法)方法、DBSCAN(Density-Based Spatial Clustering of Applications withNoise，具有噪声的基于密度的聚类方法)方法、GMM(Gaussian Mixed Model，高斯混合模型)方法中的任意一种。

在一些实施例中，方法800可以包括基于边缘方向旋转标识图案匹配模板。基于边缘方向旋转标识图案匹配模板，可以将标识图案匹配模板与候选标识图案角点处的图像对齐。候选标识图案角点的边缘方向可以用于确定该候选标识图案角点处的图像在定位图像中的设置方向。在一些实施例中，基于边缘方向旋转标识图案匹配模板，可以将标识图案匹配模板调整至与候选标识图案角点处的图像方向相同或接近相同以便于进行图像匹配。

参看图8，在步骤805，以第一标识作为起点，搜索其他标识。在一些实施例中，响应于识别到复合标识，基于位姿标识图案匹配模板，识别其他标识。在一些实施例中，其他标识包括位姿标识或复合标识。

图10示出根据本公开一些实施例的用于搜索标识的方法1000的流程图。如图10所示，该方法1000中的部分或全部步骤可以由数据处理装置(例如，图1所示的控制装置120，图16所示的处理器1620)来执行。方法1000中的部分或全部步骤可以由软件、固件和/或硬件来实现。在一些实施例中，方法1000可以由机器人系统(例如，图16所示的手术机器人系统1600)执行。在一些实施例中，方法1000可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图16所示的处理器1620)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。

参看图10，在步骤1001，以第一标识作为起点，确定第二标识。在一些实施例中，以第一标识图案角点作为起点，在设定的搜索方向上搜索第二标识图案角点。在一些实施例中，设定的搜索方向可以包括第一标识图案角点的正前方(对应0°角度方向)、正后方(对应120°角度方向)、正上方(90°角度方向)、正下方(-90°角度方向)和斜向(例如±45°角度方向)中的至少一个方向。

在一些实施例中，设定的搜索方向为n个，例如在8个方向进行搜索，每个搜索方向v_sn可以基于以下公式(10)确定：

v_sn＝[cos(n·π/4) sin(n·π/4)],(n＝1,2,…,8)   (10)

在一些实施例中，当前步骤中设定的搜索方向可以根据上一帧确定的多个标识图案角点中相邻标识图案角点之间的偏差角度确定。示例性地，预定的搜索方向可以基于以下公式(11)确定：

其中，(x_j,y_j)为上一帧(或者上个图像处理周期)确定的多个标识图案角点的二维坐标；n_last为上一帧确定的多个标识图案角点的个数；v_s1为第一个设定的搜索方向；v_s2为第二个设定的搜索方向。

在一些实施例中，如图11所示，以第一标识图案角点P₁₁₀₁的坐标位置作为搜索起点，在设定的搜索方向上搜索第二标识图案角点P₁₁₀₂的坐标位置。例如，以第一标识图案角点P₁₁₀₁的坐标位置作为搜索起点，通过搜索框(例如，图11中的虚线框)以一定的搜索步长在设定的搜索方向V₁₁₀₁上搜索标识图案角点。

在一些实施例中，若搜索框内存在至少一个候选标识，则优先选择搜索框内角点似然值最大的候选标识图案角点为第二标识图案角点P₁₁₀₂。在搜索框限制在合适的大小情况下，以第一标识图案角点P₁₁₀₁的坐标位置作为搜索起点进行第二标识图案角点P₁₁₀₂搜索时，搜索框内出现的候选标识中角点似然值最大的候选标识图案角点为标识图案角点的可能性较大。因此，可以认为搜索框内角点似然值最大的候选标识为第二标识图案角点P₁₁₀₂，以便提高数据处理速度。其他实施方式中，为了提高标识图案角点识别的准确度，在搜索框内存在至少一个候选标识的情况下，选择搜索框内出现的候选标识中角点似然值最大的候选标识图案角点进行角点的识别，以确定该角点似然值最大的候选标识图案角点是否为标识图案角点。例如，可以使用位姿标识图案匹配模板或者复合标识图案匹配模板与该角点似然值最大的候选标识图案角点处一定范围内的图像进行匹配，满足预设图案匹配度标准的候选标识图案角点可以认为是搜索到的第二标识图案角点P₁₁₀₂。

在一些实施例中，继续参看图11，搜索框的大小可以逐步增大，从而搜索范围逐步增大。搜索步长可与搜索框的边长同步变化。其他实施方式中，搜索框的大小也可以为固定的大小。

在一些实施例中，标识图案可以为黑白相间的图形，可以基于公式(8)中的相关性系数来进行图案匹配。如果相关性系数大于阈值，则认为该角点似然值最大的候选标识图案角点是标识图案角点，记为第二标识图案角点。

参看图10，在步骤1003，基于第一标识、第二标识，确定搜索方向。在一些实施例中，搜索方向包括：第一搜索方向和第二搜索方向。第一搜索方向可以是以第一标识图案角点的坐标位置为起点，且远离第二标识图案角点的方向。第二搜索方向可以是以第二标识图案角点的坐标位置为起点，且远离第一标识图案角点的方向。例如，图11中所示的搜索方向V₁₁₀₂。

在步骤1005，以第一标识或第二标识作为起点，在搜索方向上搜索标识。在一些实施例中，若以第一标识图案角点为新的起点，则可以以上述实施例中的第一搜索方向作为搜索方向进行标识图案角点的搜索。若以第二标识图案角点为新的搜索起点，则可以以上述实施例中的第二搜索方向作为搜索方向进行标识图案角点的搜索。在一些实施例中，搜索新的标识图案角点(例如，图11中的第三标识图案角点P₁₁₀₃)可以与步骤1001类似地执行。在一些实施例中，搜索步长可以是第一标识图案角点P₁₁₀₁和第二标识图案角点P₁₁₀₂之间的距离L₁。

在一些实施例中，响应于搜索距离大于搜索距离阈值，确定像素集合中剩余像素的角点似然值最大的像素作为候选标识图案角点；以及将标识图案匹配模板与候选标识图案角点位置处的标识图案进行匹配，以识别第一标识。在一些实施例中，在确定像素集合中剩余像素的角点似然值最大的像素作为新的候选标识图案角点之后，可以基于与步骤803类似的方法识别新的第一标识。在一些实施例中，搜索距离大于搜索距离阈值可以理解为在部分或者全部的搜索方向上的搜索距离大于搜索距离阈值。在一些实施例中，搜索距离阈值可以包括第N-1个位姿标识图案角点和第N-2个位姿标识图案角点的距离的设定倍数，其中N≥3。例如，搜索距离阈值为两倍的前两个标识图案角点的距离。这样，搜索第三个标识图案角点的最大搜索距离是第一标识图案角点和第二标识图案角点的距离的两倍，若在搜索方向上达到该搜索距离还未搜索到标识图案角点，则确定像素集合中剩余像素的角点似然值最大的像素作为新的候选位姿标识图案角点，以及识别新的第一标识，并且当前搜索过程也相应停止。在一些实施例中，与方法800类似，可以重新确定新的第一标识图案角点，并且与方法1000类似，可以以新的标识图案角点为搜索起点，搜索其余的标识图案角点。

在一些实施例中，响应于识别到的标识数量大于或等于标识数量阈值，可以基于识别到的标识，确定操作臂相对参考坐标系的当前相对位姿，相应地停止对标识的搜索。例如，响应于识别到的标识图案角点数量大于或等于标识数量阈值，停止对标识图案角点的搜索。例如，当识别到四个标识图案角点，停止对标识图案角点的搜索。

在一些实施例中，响应于识别到的标识数量小于标识数量阈值，确定像素集合中剩余像素的角点似然值最大的像素作为候选标识图案角点；以及将标识图案匹配模板与候选标识图案角点位置处的标识图案进行匹配，以识别第一标识。在一些实施例中，若识别到的标识图案角点总数小于标识数量阈值，则认为上述步骤中基于第一标识图案的搜索失败。在一些实施例中，若识别到的所有标识中不包括复合标识，例如识别到的标识图案角点不包括复合标识图案角点，则认为上述步骤中基于第一标识图案的搜索失败。在一些实施例中，在搜索失败的情况下，确定像素集合中剩余像素的角点似然值最大的像素作为新的候选标识图案角点，之后可以基于与步骤803类似地方法识别新的第一标识。在一些实施例中，与方法800类似，可以重新确定新的第一标识图案角点，并且与方法1000类似，可以以新的标识图案角点为搜索起点，搜索其余的标识图案角点。

在一些实施例中，若已识别到的标识包括复合标识，则搜索到的其余标识可以不确定标识类型(应理解，标识类型包括位姿标识和复合标识)。例如，若第一标识为复合标识，则可以不确定第二标识具体是位姿标识还是复合标识。

在一些实施例中，若已识别到的标识不包括复合标识，则确定搜索到的新标识的类型。例如，若第一标识不是复合标识，则需要确定第二标识具体是位姿标识还是复合标识。若第一标识和第二标识均不是复合标识，则需要确定第三标识具体是位姿标识还是复合标识，以此类推。

在一些实施例中，在搜索到或者识别到标识图案角点之后，还可以对已确定的标识图案角点进行亚像素定位，以提高标识图案角点的位置精度。

在一些实施例中，可以对像素点的CL值基于模型进行拟合，以确定经亚像素定位后的标识图案角点的坐标。例如，ROI中每个像素点的CL值的拟合函数可以为二次曲面函数，该函数的极值点为亚像素点。拟合函数可以基于以下公式(12)和(13)确定：

S(x,y)＝ax²+by²+cx+dy+exy+f   (12)

其中，S(x，y)为每个ROI中的所有像素点的CL值拟合函数，a、b、c、d、e、f为系数；x_c为位姿标识的x坐标，y_c为位姿标识的y坐标。

图12示出根据本公开一些实施例的操作臂的构节1200的示意图。操作臂(例如操作臂140)可以包括至少一个可形变的构节1200。如图12所示，可形变的构节1200包括固定盘1210和多根结构骨1220。多根结构骨1220的第一端与固定盘1210固定连接，第二端与驱动单元(未示出)连接。在一些实施例中，固定盘1210可以是包括但不限于环状结构、盘状结构等，而且横截面可以是圆形、矩形、多边形等等各种形状。

驱动单元通过驱动结构骨1220使构节1200发生形变。例如，驱动单元通过驱动结构骨1220使构节1200处于如图12所示的弯曲状态。在一些实施例中，多根结构骨1220的第二端穿过基盘1230与驱动单元连接。在一些实施例中，与固定盘1210类似，基盘1230可以是包括但不限于环状结构、盘状结构等，而且横截面可以是圆形、矩形、多边形等等各种形状。驱动单元可以包括线性运动机构、驱动构节或两者的组合。线性运动机构可以与结构骨1220连接，以推动或拉动结构骨1220，进而驱动构节1200弯曲。驱动构节可以包括固定盘和多根结构骨，其中多根结构骨的一端固定连接到固定盘。驱动构节的多根结构骨的另一端与多根结构骨1220连接或一体成型，以通过驱动构节的弯曲来驱动构节1200的弯曲。

在一些实施例中，在固定盘1210与基盘1230之间还包括间隔盘1240，多根结构骨1220穿过间隔盘1240。类似地，驱动构节也可以包括间隔盘。

图13示出根据本公开一些实施例的操作臂1300的结构示意图。如图13所示，操作臂1300为可形变的操作臂，操作臂1300可以包括操作臂末端1310和操作臂主体1320。操作臂主体1320可以包括一个或多个构节，例如第一构节1321和第二构节1322。在一些实施例中，第一构节1321和第二构节1322的结构可以与图12所示的构节1200类似。在一些实施中，如图13所示，操作臂主体1320还包括位于第一构节1321和第二构节1322之间的第一直杆段1323。第一直杆段1323的第一端与第二构节1322的基盘连接，第二端与第一构节1321的固定盘连接。在一些实施中，如图13所示，操作臂主体1320还包括第二直杆段1324，第二直杆段1324的第一端与第一构节1321的基盘连接。

在一些实施例中，方法500还可以包括基于操作臂的当前相对位姿和操作臂的目标位姿，确定位姿差；以及基于位姿差和操作臂的逆运动学模型，确定操作臂的驱动信号。例如，基于操作臂末端在世界坐标系中的目标位姿和当前位姿的差值，通过操作臂运动学模型的逆运动学数值迭代算法，可以确定操作臂所包括的多个关节在当前运动控制循环内的驱动值(或者控制操作臂运动的对应多个电机的驱动值)。应当理解，运动学模型可以表示操作臂的关节空间和任务空间的运动关系的数学模型。例如，运动学模型可以通过DH(Denavit-Hartenberg)参数法和指数积表示法等方法建立。

在一些实施例中，操作臂的目标位姿为操作臂在世界坐标系中的目标位姿。方法500还可以包括：基于当前相对位姿，确定操作臂在世界坐标系中的当前位姿；以及基于操作臂的目标位姿和操作臂在世界坐标系中的当前位姿，确定在世界坐标系中的位姿差。在一些实施例中，在世界坐标系中的位姿差包括位置差和姿态差。

在第k次运动控制循环中，位姿差可以基于以下公式(14)确定：

其中，

为第k次运动控制循环时操作臂的位置差，

为第k次运动控制循环时操作臂的角度差，P_t ^k为第k次运动控制循环时操作臂的目标位置，R_t ^k为第k次运动控制循环时操作臂的目标姿态，

为第k次运动控制循环时操作臂的当前位置，R_t ^k为第k次运动控制循环时操作臂的

当前姿态，

表示

与R_t ^k之间的转角。

在一些实施例中，以预定周期，在每个运动控制循环之前或过程中，更新操作臂的目标位姿。在一些实施例中，迭代地执行多个运动控制循环，在每个运动控制循环，可以执行根据本公开一些实施例的方法，例如步骤501-507，以控制操作臂运动到目标位姿。通过迭代地执行多个运动控制循环，可以实现操作臂末端位姿的实时闭环控制，可以提高操作臂的位姿控制精度。应理解，经本公开的方法实现操作臂的位姿控制，能改进操作臂(例如连续体可形变臂)的轨迹跟踪误差。

图14示出根据本公开一些实施例的用于确定驱动信号的方法1400的流程图。如图14所示，该方法1400中的部分或全部步骤可以由操作臂控制系统100的控制装置(例如控制装置120)来执行。控制装置120可以配置在计算设备上。方法1400可以由软件、固件和/或硬件来实现。在一些实施例中，方法1400可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图16所示的处理器1620)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。

参看图14，在步骤1401，基于位姿差，确定笛卡尔空间速度。在一些实施例中，笛卡尔空间速度包括笛卡尔空间线速度和笛卡尔空间角速度。方法1400还可以包括：基于位置差，确定笛卡尔空间线速度，以及基于姿态差，确定笛卡尔空间角速度。在一些实施例中，可以基于姿态差，通过比例-积分-微分控制器或者比例-微分控制器确定笛卡尔空间角速度。在一些实施例中，第k次运动控制循环的笛卡尔空间速度

可以基于以下公式(15)确定：

其中，V_k为第k次运动控制循环的笛卡尔空间线速度，ω_k为第k次运动控制循环的笛卡尔空间角速度，P_v为线速度比例系数，D_v为线速度微分系数，P_ω为角速度比例系数，D_ω为角速度微分系数，

为第k-1次运动控制循环时操作臂的位置差，

为第k-1次运动控制循环时操作臂的角度差。

参看图14，在步骤1403，基于笛卡尔空间速度，确定关节参数空间速度。第k次运动控制循环的关节参数空间速度

可以基于以下公式(16)确定：

J⁺是操作臂的运动学模型的速度雅克比矩阵J的Moore-Penrose伪逆矩阵，操作臂的运动学模型的速度雅克比矩阵J可以基于操作臂的结构确定。

参看图14，在步骤1405，基于关节参数空间速度和当前关节参数，确定目标关节参数。第k次运动控制循环的目标关节参数

可以基于以下公式(17)确定：

其中，

为第k次运动控制循环的当前关节参数，Δt为运动控制循环的周期。

应理解，当操作臂具有多个构节(例如，图13所示的操作臂1300)，操作臂的目标关节参数可以是全部的构节的目标关节参数，也可以是多个构节中的一个或一些构节的目标关节参数。

参看图14，在步骤1407，基于目标关节参数，确定驱动信号。例如，基于目标关节参数与驱动量的映射关系，可以确定操作臂所包括的多个关节在当前运动控制循环内的驱动量，进而基于驱动量确定驱动单元(例如，电机)的驱动信号。在一些实施例中，单个构节的关节参数与驱动量的映射关系可以是基于公式(26)示出的映射关系。

在一些实施例中，以操作臂为可形变运动臂(例如连续体可形变臂)作为示例。连续体可形变臂可以是如图13所示的操作臂1300。如图13所示，每个构节(第一构节1321和第二构节1322)可以包括基座盘、固定盘以及贯穿基座盘和固定盘的多根结构骨，多根结构骨可以与固定盘固定连接，与基座盘滑动连接。连续体可形变臂及其包含的构节可以通过运动学模型描述。在一些实施例中，每个构节的结构具体可如图12所示的构节1200。如图12所示，基座盘坐标系

附着在第t(t＝1，2，3...)节连续体段的基座盘上，其原点位于基座盘中心，XY平面与基座盘平面重合，

从基座盘中心指向第一根结构骨(第一根结构骨可以理解为从多根结构骨中任意指定的一根作为参照的结构骨)。弯曲平面坐标系

其原点与基座盘坐标系原点重合，XY平面和弯曲平面重合，

与

重合。固定盘坐标系

附着在第t节连续体段的固定盘上，其原点位于固定盘中心，XY平面与固定盘平面重合，

从固定盘中心指向第一根结构骨。弯曲平面坐标系2

其原点位于固定盘中心，XY平面和弯曲平面重合，

与

重合。

如图12所示的单个构节1200可以通过运动学模型表示。第t节构节末端(固定盘坐标系{te})相对于基座盘坐标系{tb}的位置^tbP_te、姿态^tbR_te可以基于以下公式(18)和公式(19)确定：

^tbR_te＝^tbR_t1 ^t1R_t2 ^t2R_te   (19)

其中，L_t为第t节构节的虚拟结构骨(例如，图12中示出的虚拟结构骨1221)的长度，θ_t为在第t节构节中，

关于

或者

旋转到

所需的转动角度，^tbR_t1为第t节构节的弯曲平面坐标系1{t1}相对于基座盘坐标系{tb}的姿态，^t1R_t2为第t节构节的弯曲平面坐标系2{t2}相对于弯曲平面坐标系1{t1}的姿态，^t2R_te为第t节构节的固定盘坐标系{te}相对于弯曲平面坐标系2{t2}的姿态。

^tbR_t1、^t1R_t2和^t2R_te可以基于以下公式(20)、公式(21)和公式(22)确定：

其中，δ_t为在第t节构节中，弯曲平面和

的夹角。

如图12所示的单个构节1200的关节参数Ψ_t可以基于以下公式(23)确定：

ψ_t＝[θ_t，δ_t]^T   (23)

关节参数Ψ_t的关节参数空间速度

可以基于以下公式(24)确定：

其中，

为θ_t的一阶导数，

为δ_t的一阶导数。

如图12所示的单个构节1200的末端笛卡尔空间速度

可以基于以下公式(25)确定：

其中，J_t是单个构节的的运动学模型的速度雅克比矩阵，J_tv是单个构节的运动学模型的线速度雅克比矩阵，J_tω是单个构节的的运动学模型的角速度雅克比矩阵，V_t是单个构节的末端线速度，ω_t是单个构节的末端角速度。

在一些实施例中，多根结构骨的驱动量与关节参数具有已知的映射关系。基于构节的目标关节参数和映射关系，可以确定多根结构骨的驱动量。多根结构骨的驱动量可以理解为将单个构节从初始状态(例如，θ_t＝0)弯曲至目标弯曲角度时结构骨受推或受拉的长度。在一些实施例中，多根结构骨的驱动量与关节参数的映射关系可以基于以下公式(26)确定：

q_i≡-r_tiθ_t coS(δ_t+β_ti)   (26)

其中，r_ti为第t节构节中第i根结构骨到虚拟结构骨的距离，β_ti为第t节构节中第i根结构骨和第一根结构骨的夹角，q_i为第i根结构骨的驱动量，基于第i根结构骨的驱动量可以确定驱动单元的驱动信号。

在一些实施例中，基于公式(14)和公式(15)可以确定单个构节的末端笛卡尔空间速度，基于公式(16)可以确定单个构节的关节参数空间速度，基于公式(17)可以确定单个构节的目标关节参数，基于公式(26)可以确定每根结构骨的驱动量，进而基于驱动量确定驱动单元(例如，电机)的驱动信号。

在一些实施例中，整个可形变臂可以通过运动学模型来描述。如图13所示，位于可形变臂多个位置处的多个坐标系之间可以进行变换。例如，连续体可形变臂的末端执行器在世界坐标系{w}中可以基于以下公式(27)确定：

^WT_tip＝^WT_1b ^1bT_1e ^1eT_2b ^2bT_2e ^2eT_tip   (27)

其中，^WT_tip表示连续体可形变臂的末端执行器相对于世界坐标系的齐次变换矩阵；^WT_1b表示第一连续体段的基座盘相对于世界坐标系的齐次变换矩阵；^1bT_le表示第一连续体段的固定盘相对于第一连续体段的基座盘的齐次变换矩阵；^1eT_2b表示第二连续体段的基座盘相对于第一连续体段的固定盘的齐次变换矩阵；^2bT_2e表示第二连续体段的固定盘相对于第二连续体段的基座盘的齐次变换矩阵；^2eT_tip表示连续体可形变臂的末端执行器相对于第二连续体段的固定盘的齐次变换矩阵。在一些实施例中，末端执行器固定设置在固定盘上，因此^2eT_tip是已知的或者预先确定的。

应理解，可变形臂在不同的工作状态具有不同的关节参数。例如，图13所示的操作臂1300至少包括四种工作状态。操作臂1300的四种工作状态如下：

第一工作状态：只有第二构节1322参与执行器的位姿控制(例如，只有第二构节1322进入工作空间)，此时操作臂1300的关节参数可以基于以下公式(28)确定：

其中，ψ_c1为第一工作状态下操作臂1300的关节参数，

为操作臂1300的绕轴转角，L₂、θ₂、δ₂与如图12所示构节1200中L_t、θ_t和δ_t的物理意义相同。

第二工作状态：第二构节1322和第一直线段1323参与执行器的位姿控制(例如，第二构节1322全部进入工作空间，第一直线段1323部分进入工作空间)，此时操作臂1300的关节参数可以基于以下公式(29)确定：

其中，ψ_c2为第二工作状态下操作臂1300的关节参数，L_r为第一直线段1323的进给量。

第三工作状态：第二构节1322、第一直线段1323和第一构节1321参与执行器的位姿控制(例如，第二构节1322全部进入工作空间，第一直线段1323全部进入工作空间，第一构节1321部分进入工作空间)，此时操作臂1300的关节参数可以基于以下公式(30)确定：

其中，ψ_c3为第三工作状态下操作臂1300的关节参数，θ₁和δ₁与如图12所示构节1200中θ_t和δ_t的物理意义相同。

第四工作状态：第二构节1322、第一直线段1323、第一构节1321和第二直线段1324参与执行器的位姿控制(例如，第二构节1322全部进入工作空间，第一直线段1323全部进入工作空间，第一构节1321全部进入工作空间，第二直线段1324部分进入工作空间)，此时操作臂1300的关节参数可以基于以下公式(31)确定：

其中，ψ_c4为第四工作状态下操作臂1300的关节参数，L_s为第二直线段1324的进给量。

在一些实施例中，与单个构节类似，基于公式(14)和公式(15)可以确定可形变臂的末端笛卡尔空间速度，基于公式(16)可以确定可形变臂的关节参数空间速度，基于公式(17)可以确定可形变臂的目标关节参数，其中公式(16)中的关节参数空间速度和公式(17)中的目标关节参数中包含的具体参数可以基于公式(28)、(29)、(30)或(31)确定，基于公式(26)可以确定每个构节的每根结构骨的驱动量，进而基于驱动量确定驱动单元(例如，电机)的驱动信号。

本公开一些实施例中，本公开还提供了一种计算机设备，计算机设备包括存储器，用于存储有至少一条指令；以及处理器，处理器与存储器耦合，用于执行至少一条指令以执行本公开的方法中的部分步骤或全部步骤，如图5、图6、图7、图8、图10和图14中公开的方法中的部分步骤或全部步骤。

图15示出根据本公开一些实施例的计算机设备1500的示意图。参看图15，该计算机设备1500包括中央处理单元(CPU)1501、包括随机存取存储器(RAM)1502和只读存储器(ROM)1503的系统存储器1504，以及连接各部件的系统总线1505。计算机设备1500还包括输入/输出设备1506，和用于存储操作系统1513、应用程序1514和其他程序模块1515的大容量存储设备1507。输入/输出设备1506包括主要由显示器1508和输入设备1509组成的输入/输出控制器1510。

大容量存储设备1507通过连接到系统总线1505的大容量存储控制器(未示出)连接到中央处理单元1501。大容量存储设备1507及其相关联的计算机可读介质为计算机设备提供非易失性存储。也就是说，大容量存储设备1507可以包括诸如硬盘或者光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，CD-ROM、或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器和大容量存储设备可以统称为存储器。

计算机设备1500可以通过连接在系统总线1505上的网络接口单元1511连接到网络1512。

系统存储器1504或大容量存储设备1507还用于存储一个或者一个以上的指令。中央处理单元1501通过执行该一个或一个以上指令来实现上述的本公开一些实施例中的方法的全部或者部分步骤。

本公开一些实施例中，本公开还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，该至少一条指令由处理器执行以使计算机执行本公开一些实施例的定位方法中的部分步骤或全部步骤，如图5、图6、图7、图8、图10和图14中公开的方法中的部分步骤或全部步骤。

在一些实施例中，本公开还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法。例如，非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

图16示出根据本公开一些实施例的手术机器人系统1600的示意图。本公开一些实施例中，参看图16，手术机器人系统1600可以包括：手术工具1650、图像采集器1610以及处理器1620。手术工具1650可以包括操作臂1640、设置在操作臂1640的末端的远端上的执行器1630以及设置在操作臂1640的末端上的至少一个复合标识和多个位姿标识。图像采集器1610可以用于采集操作臂1640的定位图像。处理器1620与图像采集器1610连接，用于执行本公开一些实施例的方法中的部分步骤或全部步骤，如图5、图6、图7、图8、图10和图14中公开的方法中的部分步骤或全部步骤。

虽然已经举例说明和描述了本公开的具体实施方案，但是对于本领域技术人员来说显而易见的是，在不脱离本公开实质和范围的情况下可以做出多种其他改变和变型。因此，在随附的权利要求书中包括属于本公开范围内的所有这些改变和变型。

Claims (25)

1.一种用于控制操作臂的方法，包括：

获取定位图像；

在所述定位图像中，识别位于所述操作臂上的多个标识，所述多个标识包括多个用于标识位姿的位姿标识和至少一个用于标识位姿和角度的复合标识；

基于所述至少一个复合标识和所述多个位姿标识，确定所述操作臂相对参考坐标系的当前相对位姿；以及

基于所述当前相对位姿和所述操作臂的目标位姿，确定所述操作臂的驱动信号。

2.根据权利要求1所述的方法，还包括：

基于所述至少一个复合标识，确定所述至少一个复合标识和所述多个位姿标识在操作臂坐标系中的三维坐标。

3.根据权利要求2所述的方法，还包括：

基于所述至少一个复合标识和所述多个位姿标识在所述定位图像中的二维坐标以及在所述操作臂坐标系中的三维坐标，确定所述操作臂坐标系相对所述参考坐标系的位姿，作为所述操作臂相对所述参考坐标系的当前相对位姿。

4.根据权利要求1所述的方法，还包括：

确定所述至少一个复合标识和所述多个位姿标识在标识坐标系中的三维坐标；

基于所述至少一个复合标识，确定所述标识坐标系相对操作臂坐标系的滚转角；

基于所述标识坐标系相对所述操作臂坐标系的滚转角以及所述至少一个复合标识和所述多个位姿标识在所述标识坐标系中的三维坐标，确定所述至少一个复合标识和所述多个位姿标识在所述操作臂坐标系中的三维坐标；以及

基于所述至少一个复合标识和所述多个位姿标识在所述定位图像中的二维坐标以及在所述操作臂坐标系中的三维坐标，确定所述操作臂坐标系相对所述参考坐标系的位姿，作为所述操作臂相对所述参考坐标系的位姿。

5.根据权利要求1所述的方法，还包括：

从所述定位图像中确定多个候选标识；

从所述多个候选标识中识别所述多个标识中的第一标识；以及

以所述第一标识作为起点，搜索其他标识。

6.根据权利要求5所述的方法，还包括：

响应于识别到所述复合标识，基于位姿标识图案匹配模板，识别其他标识。

7.根据权利要求5所述的方法，所述标识包括标识图案和在所述标识图案中的标识图案角点，所述方法还包括：

在所述定位图像中确定感兴趣区域；

将所述感兴趣区域划分为多个子区域；

确定每个所述子区域中角点似然值最大的像素以形成像素集合；

确定所述多个候选标识中角点似然值最大的像素作为候选标识图案角点；以及

将所述标识图案匹配模板与所述候选标识图案角点位置处的标识图案进行匹配，以识别所述第一标识。

8.根据权利要求7所述的方法，还包括：

响应于匹配失败，确定所述像素集合中剩余像素中的角点似然值最大的像素作为候选标识图案角点。

9.根据权利要求5所述的方法，还包括：

以所述第一标识作为起点，搜索第二标识；

基于所述第一标识、所述第二标识，确定搜索方向；以及

以所述第一位姿标识或所述第二标识作为起点，在所述搜索方向上搜索标识。

10.根据权利要求9所述的方法，还包括：

响应于搜索距离大于搜索距离阈值，确定所述像素集合中剩余像素的角点似然值最大的像素作为候选标识图案角点；以及

将所述标识图案匹配模板与所述候选标识图案角点位置处的标识图案进行匹配，以识别第一标识。

11.根据权利要求9所述的方法，还包括：

响应于识别到的标识数量大于或等于标识数量阈值，基于识别到的标识，确定所述操作臂相对参考坐标系的当前相对位姿。

12.根据权利要求9所述的方法，还包括：

响应于识别到的标识数量小于标识数量阈值，确定所述像素集合中剩余像素的角点似然值最大的像素作为候选标识图案角点；以及

将所述标识图案匹配模板与所述候选标识图案角点位置处的标识图案进行匹配，以识别第一标识。

13.根据权利要求1所述的方法，还包括：

基于所述当前相对位姿和所述操作臂的目标位姿，确定位姿差；以及

基于所述位姿差和所述操作臂的逆运动学模型，确定所述操作臂的驱动信号。

14.根据权利要求13所述的方法，所述方法还包括：

基于所述当前相对位姿，确定所述操作臂在世界坐标系中的当前位姿；以及

基于所述操作臂的目标位姿和所述操作臂在世界坐标系中的当前位姿，确定在世界坐标系中的位姿差，所述操作臂的目标位姿为所述操作臂在世界坐标系中的目标位姿。

15.根据权利要求14所述的方法，包括：

基于所述位姿差，确定笛卡尔空间速度；

基于所述笛卡尔空间速度，确定关节参数空间速度；

基于所述关节参数空间速度和当前关节参数，确定目标关节参数；以及

基于所述目标关节参数，确定所述驱动信号。

16.根据权利要求15所述的方法，所述在世界坐标系中的位姿差包括在世界坐标系中的位置差和姿态差，所述笛卡尔空间速度包括笛卡尔空间线速度和笛卡尔空间角速度，所述方法还包括：

基于所述位置差，确定所述笛卡尔空间线速度；以及

基于所述姿态差，确定所述笛卡尔空间角速度。

17.根据权利要求15所述的方法，所述操作臂包括：

至少一个构节，所述构节包括固定盘和多根结构骨，所述多根结构骨的第一端与所述固定盘固定连接，所述多根结构骨的第二端与驱动单元连接；

所述方法还包括：

基于所述目标关节参数，确定所述多根结构骨的驱动量；以及

基于所述多根结构骨的驱动量，确定用于所述驱动单元的驱动信号。

18.根据权利要求1-17中任一项所述的方法，还包括：

接收控制命令；以及

基于所述控制命令，确定所述操作臂的目标位姿。

19.根据权利要求1-17中任一项所述的方法，还包括：

以预定周期，确定所述操作臂的所述驱动信号，以通过多个运动控制循环实现实时控制。

20.根据权利要求1-17中任一项所述的方法，还包括：

基于所述操作臂相对所述参考坐标系的当前相对位姿，确定所述操作臂的末端器械相对所述参考坐标系的当前相对位姿；以及

基于所述操作臂的末端器械的当前相对位姿和目标位姿，确定所述操作臂的驱动信号。

21.根据权利要求1-17中任一项所述的方法，所述操作臂的柱状部分的外表面上设置有定位标签，所述定位标签包括多个标识图案，所述多个标识图案包括多个不同的复合标识图案和多个位姿标识图案，所述多个不同的复合标识图案和所述多个位姿标识图案位于同一图案分布带。

22.根据权利要求21所述的方法，所述多个标识图案中N个连续的标识图案中至少包括一个复合标识图案，其中所述复合标识图案与位姿标识图案不同，且2≤N≤4。

23.一种计算机设备，包括：

存储器，用于存储有至少一条指令；以及

处理器，与所述存储器耦合，用于执行所述至少一条指令以执行如权利要求1-22中任一项所述的方法。

24.一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器执行以使计算机执行如权利要求1-22中任一项所述的方法。

25.一种手术机器人系统，包括：

手术工具，所述手术工具包括操作臂、设置在所述操作臂远端的执行器以及设置在所述操作臂的末端上的至少一个复合标识和多个位姿标识；

图像采集器，用于采集所述操作臂的定位图像；以及

处理器，与所述图像采集器连接，用于执行如权利要求1-22中任一项所述的方法以确定所述操作臂的驱动信号。

Images