CN117984304A - 器械的操纵校正方法及装置 - Google Patents

Abstract

本说明书提供了器械的操纵校正方法及装置，该方法包括：实时获取目标器械末端的动作图像；根据所述动作图像中确定目标器械所执行的动作的风险系数；根据所述风险系数确定目标校正值；根据所述目标校正值校正机器人端的第一目标位姿，所述机器人根据校正后的第一目标位姿控制机械臂及目标器械上的各可控器件，和/或，根据所述目标校正值校正控制台端的第二目标位姿，所述第二目标位姿为控制台上的操纵器对应的位姿。本方案能够自动校正操作者对目标器械位姿的控制，降低由于操作者操作问题带来的风险。

Description

器械的操纵校正方法及装置

技术领域

本说明书涉及机器人控制技术领域，特别涉及器械的操纵校正方法及装置。

背景技术

现有技术中，操作者通过操纵机器人使得机器人上安装的器械执行动作的过程中，无论是风险较低的动作还是风险较高的动作，都是凭借操作者的经验进行操纵，操纵器、操纵器至器械末端之间的各活动关节仅仅将操纵器上的操纵动作映射至器械末端的动作。

由于操作者的经验参差不齐，且人的操作本身容易出现操作精度不够、操作失误等情况，因此，现有器械的操纵方法风险较高。

发明内容

本申请实施方式的目的是提供一种器械的操纵校正方法、装置及机器人，以解决现有器械的操纵方法风险较高的问题。

本说明书第一方面提供一种器械的操纵校正方法，包括：实时获取目标器械末端的动作图像；根据所述动作图像中确定目标器械所执行的动作的风险系数；根据所述风险系数确定目标校正值；根据所述目标校正值校正机器人端的第一目标位姿，所述机器人根据校正后的第一目标位姿控制机械臂及目标器械上的各可控器件，和/或，根据所述目标校正值校正控制台端的第二目标位姿，所述第二目标位姿为控制台上的操纵器对应的位姿。

在一些实施例中，根据所述动作图像中确定目标器械所执行的动作的风险系数，包括：将所述动作图像输入目标网络模型，得到所述目标网络模型输出的风险系数；其中，所述目标网络模型是在执行操作之前根据输入的操作类型选取的。

在一些实施例中，根据所述动作图像中确定目标器械所执行的动作的风险系数，包括：从当前动作图像中识别出目标器械并确定目标器械的类型；根据目标器械的类型，识别出目标器械的关键点的位置；根据当前动作图像中目标器械的关键点的位置和上一动作图像中目标器械的关键点的位置，确定目标器械所执行的动作的类型；根据所述类型确定目标器械所执行的动作的风险系数。

在一些实施例中，在根据所述动作图像中确定目标器械所执行的动作的风险系数之后，还包括：显示当前动作图像中目标器械的信息，所述目标器械的信息包括：目标器械的类型标识，和/或目标器械的各关键点的位置信息，和/或目标器械所执行的动作的风险系数。

在一些实施例中，根据所述风险系数确定目标校正值，包括：根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；根据所述目标风险等级确定目标校正值。

在一些实施例中，根据所述风险系数确定目标校正值，包括：根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；根据目标器械的类型，确定风险系数的预定阈值；根据风险系数、预定阈值确定目标校正值。

在一些实施例中，根据所述风险系数确定目标校正值，包括：根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；根据所述目标风险等级确定第一校正值；获取经验控制方式与自动控制方式分别对应的比例系数；根据风险系数对应的第一校正值、自动控制方式对应的比例系数确定第三校正值，并将所述第三校正值作为目标校正值。

在一些实施例中，在根据所述目标调节值调节机器人的各机械臂上各电机的预定参数，和/或，根据所述目标调节值调节机器人的操纵器上各关节的位姿信息之前，还包括：获取目标校正值的取值区间；当目标校正值小于所述取值区间的最小值时，将所述取值区间的最小值作为目标校正值；当目标校正值大于所述取值区间的最大值时，将所述取值区间的最大值作为目标校正值。

本说明书第二方面提供一种器械的操纵校正装置，包括：第一获取单元，用于实时获取目标器械末端的动作图像；第一确定单元，用于根据所述动作图像中确定目标器械所执行的动作的风险系数；第二确定单元，用于根据所述风险系数确定目标校正值；校正单元，用于根据所述目标校正值校正机器人端的第一目标位姿，所述机器人根据校正后的第一目标位姿控制机械臂及目标器械上的各可控器件，和/或，根据所述目标校正值校正控制台端的第二目标位姿，所述第二目标位姿为控制台上的操纵器对应的位姿。

在一些实施例中，所述第一确定单元将所述动作图像输入目标网络模型，得到所述目标网络模型输出的风险系数；其中，所述目标网络模型是在执行操作之前根据输入的操作类型选取的。

在一些实施例中，所述第一确定单元包括：第一识别子单元，用于从当前动作图像中识别出目标器械并确定目标器械的类型；第二识别子单元，用于根据目标器械的类型，识别出目标器械的关键点的位置；第一确定子单元，用于根据当前动作图像中目标器械的关键点的位置和上一动作图像中目标器械的关键点的位置，确定目标器械所执行的动作的类型；第二确定子单元，用于根据所述类型确定目标器械所执行的动作的风险系数。

在一些实施例中，所述装置还包括：显示单元，用于显示当前动作图像中目标器械的信息，所述目标器械的信息包括：目标器械的类型标识，和/或目标器械的各关键点的位置信息，和/或目标器械所执行的动作的风险系数。

在一些实施例中，所述第二确定单元包括：第三确定子单元，用于根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；第四确定子单元，用于根据所述目标风险等级确定目标校正值。

在一些实施例中，所述第二确定单元包括：第三确定子单元，用于根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；第五确定子单元，用于根据目标器械的类型，确定风险系数的预定阈值；第六确定子单元，用于根据风险系数、预定阈值确定目标校正值。

在一些实施例中，所述第二确定单元包括：第三确定子单元，用于根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；获取子单元，用于获取经验控制方式与自动控制方式分别对应的比例系数；第七确定子单元，用于根据风险系数、自动控制方式对应的比例系数确定目标校正值。

在一些实施例中，所述装置还包括：第二获取单元，用于获取目标校正值的取值区间；第三确定单元，用于当目标校正值小于所述取值区间的最小值时，将所述取值区间的最小值作为目标校正值；当目标校正值大于所述取值区间的最大值时，将所述取值区间的最大值作为目标校正值。

本说明书第三方面提供一种控制台，包括：操纵器；第一控制器，用于记录所述操纵器的位姿，所述操纵器的位姿用于控制搭载目标器械的机器人；所述第一控制器还用于执行以下操作：实时获取目标器械末端的动作图像；根据所述动作图像中确定目标器械所执行的动作的风险系数；根据所述风险系数确定目标校正值；根据所述目标校正值校正控制台端的第二目标位姿，所述第二目标位姿为控制台上的操纵器对应的位姿。

本说明书第四方面提供一种机器人，包括：机械臂，用于搭载目标器械，并根据第二控制器的控制信号进行动作；第二控制器，向机械臂中的各可控器件发送控制信号，并用于执行以下操作：获取目标校正值；所述目标校正值是通过以下方式确定的：根据实时获取的目标器械末端的动作图像中确定目标器械所执行的动作的风险系数；根据所述风险系数确定目标校正值；根据所述目标校正值校正机器人端的第一目标位姿，并根据校正后的第一目标位姿控制机械臂及目标器械上的各可控器件。

本说明书第五方面提供一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令被执行时实现第一方面任一项所述方法的步骤。

本说明书所提供的器械的操纵校正方法及装置，根据目标器械末端的动作图像确定目标器械所执行的动作的风险系数，并根据风险系数确定目标校正值，采用该目标校正值校正机器人端的第一目标位姿或控制台端的第二目标位姿，从而自动校正操作者对目标器械位姿的控制，降低由于操作者操作问题带来的风险；此外，还提高了图像的利用率。

附图说明

为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了机器人系统的示意图；

图2示出了机器人系统中控制端设备的示意图；

图3示出了机器人系统中图像端设备的示意图；

图4示出了机器人系统中执行端设备的示意图；

图5示出了本说明书提供的器械的操纵校正方法的流程图；

图6示出了本说明书提供的器械的操纵校正方法的一个示意图；

图7示出了显示图像的一个示意图；

图8示出了确定目标校正值的一个示意图；

图9示出了确定目标校正值的另一个示意图；

图10示出了确定目标校正值的又一个示意图；

图11示出了选择是否开启器械的操纵校正功能的交互界面示意图；

图12示出了调节经验控制、自动控制方式分别对应的比例系数的交互界面示意图；

图13示出了将目标校正值分配至各个关节电机的示意图；

图14示出了各个关节根据分配的校正值控制电机的示意图；

图15示出了基于FOC算法的电机驱动器控制原理图；

图16示出了本说明书提供的控制器的内部结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。

本说明书提供一种器械的操纵校正方法，能够在操作者通过操纵机器人使得机器人上安装的器械执行动作的过程中，对操纵器、或者操纵器至器械末端之间的各活动关节的映射量进行自动校正，从而达到对操作者的操纵进行校正的效果。

本说明书所提供的器械的操纵校正方法可以用于任意一种手术机器人系统，例如，可以用于图1所示的执行微创手术的腹腔镜机器人系统。如图1所示，该微创手术机器人系统由控制端设备100、执行端设备200、图像端设备300组成。控制端设备100，通常称为操作台、控制台、医生控制台，位于手术室的无菌区之外，用于向执行端设备200发送控制指令。执行端设备200，即手术机器人设备(本说明书中将手术机器人设备简称为手术机器人，将机器人设备简称为机器人)，用于根据控制指令控制安装在其机械臂末端的手术器械在患者身上执行具体的手术动作。手术机器人设备上还可以搭载内窥镜头。图像端设备300，通常称为图像台车，用于将内窥镜头采集到的信息进行处理形成三维立体高清影像反馈至控制端设备100等。

如图2所示，控制端设备100，即医生控制台上设置主操作手、成像设备、主控制器。主操作手检测手术医生的手部运动信息，作为整个手术机器人系统的控制信号。成像设备为手术医生提供内窥镜所检测到的患者体内的立体图像，为手术医生进行手术操作提供可靠的图像信息。在进行手术时，手术医生坐在医生控制台上，通过主操作手来控制手术机器人和内窥镜。手术医生根据成像设备观察传回的腔内立体图像，双手带动主操作手的位姿改变从以控制手术机器人上机械臂机构及手术器械运动，完成各种操作，从而达到为患者做手术的目的。主控制器为手术机器人系统的核心控制元件，用于控制手术机器人系统实现各种操作与功能。

如图3所示，图像端设备300主要包括内窥镜(图中未示出)、内窥镜处理器与显示设备。内窥镜包括插入患者体内的管体、管体前端设置的观察用透镜和照明用透镜、光纤、目镜，用于照亮腔体内部并获取腔体内部的立体图像。内窥镜处理器用于对所获取的腔体内部的立体图像进行处理，显示设备用于实时显示处理后的图像。

如图4所示，执行端设备200，即手术机器人设备，位于手术室的无菌区内，主要功能是根据手术医生给出的控制指令控制安装在机械臂末端的手术器械在患者身上执行具体的手术操作，以及搭载内窥镜。在无菌区内，通常还会安排助手医生，负责更换手术机器人上所安装的手术器械，协助手术医生完成手术。为了确保患者安全，助手医生通常对手术机器人的控制具有更高的优先级。

除了图1所示的机器人系统外，本说明书所提供的操纵校正方法还可以用于骨科手术机器人、支气管手术机器人以及其他需要高精度操作的工业机器人等，本说明书不再一一列举。

如图5所示，本说明书提供的器械的操纵校正方法包括如下步骤：

S10：实时获取目标器械末端的动作图像。

这里的“实时获取动作图像”可以是每隔预定时间间隔获取一次目标器械末端的动作图像，也可以是每当检测到目标器械末端移动时获取一次目标器械末端的动作图像，也可以采用其他图像获取策略。

由于安装在机器人的机械臂末端的器械通常较长，而操作仅仅关注器械末端的动作，因此，图像获取组件(例如内窥镜等)所采集的动作图像中通常只有器械“末端”，而没有完整的器械。由于执行操作时通常需要两个甚至更多器械配合完成，因此器械末端的动作图像中通常包括“两个以上”器械的末端。

在控制台上，操纵器(也即操作)主手可以为一个；也可以为两个操纵器X(例如X为左手操纵器)和Y(例如Y为右手操纵器)，其中在同一时刻每个操纵器用于操作一个器械的动作；在器械数量大于操纵器数量的情况下，操作者可以通过脚踏板或者按键等方式给出切换器械的指令，使得原先用于操纵器械A的操纵器X切换至操纵器械B。

目标器械，是指操纵器当前正在操作的器械，在动作图像中，目标器械可以为一个，也可以为两个，在同一时刻，动作图像中目标器械的数量可以与操纵器的数量相同。

S20：根据动作图像中确定目标器械所执行的动作的风险系数。

在本说明书中，动作是指器械的位姿变化，例如切、夹、提、向目标对象移动等动作，是可以根据当前图像和上一图像确定的；操作是指动作的组合，且该组合能够实现一个完整的功能，例如电凝操作、切除组织的操作等。通常情况下，操作的内容需要根据三个以上(可能几十张甚至更多)的图像才能够确定。

本说明书中的“风险”是指操作成功或异常的概率不确定性，“风险低”是指操作成功的概率较高或者操作异常的概率较低，“风险高”是指操作成功的概率较低或者操作异常的概率较高。

S20可以将动作图像输入目标网络模型，得到目标网络模型输出的风险系数。

该目标网络模型可以适用于任意操作类型，也即，无论什么类型的操作都可以采用目标网络模型识别动作图像中各目标器械所执行的动作。

由于操作类型的种类较多，器械的类型也较多，因此目标网络模型所需要识别的器械的动作也较多，这将导致训练目标网络模型的工作量较大(所需要标记的训练样本的数量较大、模型收敛所需要的时间较长)，以及目标网络模型的结构较为复杂或者目标网络模型的准确性不高等问题。

基于此，本说明书提出可以预先根据操作的每种类型分别训练得到一个网络模型，多种类型的操作对应的网络模型形成第一网络模型库，在操作之前由操作者预先输入操作的类型，根据输入的操作类型从第一网络模型库中选取该操作类型对应的目标网络模型，采用该目标网络模型执行步骤S20。例如，在操作为手术的情况下，操作类型即手术类型，该手术类型可以是按照手术部位(例如腹腔镜手术、膝关节手术、支气管手术等)或者手术所针对的目标组织的类型(例如骨科手术、心脏手术等)确定的。

在一些实施例中，目标网络模型可以采用卷积网络从动作图像中提取图像特征，采用全连接网络根据图像特征与目标器械所执行的动作的风险系数之间的关联关系确定目标器械末端所执行的动作的风险系数。该关联关系通过采用训练数据训练目标网络模型得到。

在一些实施例中，为提高目标网络模型的准确性、较少模型训练及应用时的计算量，S20可以先通过第一子网络识别动作图像中目标器械的类型及目标器械的关键点，然后采用第二子网络根据当前动作图像与上一动作图像中的目标器械关键点的位置变化关系确定目标器械所执行的动作的风险系数。也即，上述目标网络模型可以由上述第一子网络和第二子网络组成。

相应地，S20可以包括如下步骤S21至S24。

S21：从当前动作图像中识别出目标器械并确定目标器械的类型。

目标器械的类型，例如可以为剪切器械、夹取器械等。不同类型的器械形状不同、功能也不同。

步骤S21可以是将当前动作图像输入预先训练的第一子网络，得到第一子网络输出的目标器械的类型。

S22：根据目标器械的类型，识别出目标器械的关键点的位置。

对于不同类型的器械，关键的数量及位置均不同。各目标器械的关键点在目标器械的位置是可以人为预先确定的，在确定之后，根据确定结果从训练数据中找到器械的图像以及关键点在器械图像中的位置，并做位置标记，以用于根据该标记训练网络模型。

在一些实施例中，步骤S22可以是将当前动作图像输入预先训练的第一子网络，得到第一子网络输出的目标器械的关键点的位置，也即第一子网络同时输出目标器械的类型和关键点的位置。

而在另一些实施例中，可以预先根据器械的不同类型分别训练得到一个器械识别模型，多种类型的器械对应的网络模型形成第二网络模型库，一个类型的器械所对应的器械识别模型用于实现该类型器械在各种不同情形下的关键点的位置。步骤S22可以是根据目标器械的类型从第二网络模型库中选取网络模型，然后将当前动作图像输入所选取的网络模型中，得到目标器械的各关键点的位置。

步骤S22可以仅确定目标器械的关键点位置，也可以确定当前动作图像中所有器械的关键点的位置，以辅助确定风险系数。

在一些实施例中，S22中“目标器械的关键点的位置”，可以是指目标器械的关键点在当前动作图像中的位置，即在图像坐标系中的位置，其中图像坐标系是以当前动作图像上任一点作为坐标原点建立的坐标系。进一步地，S20可以直接根据目标器械的关键点在图像坐标系中的位置确定目标器械所执行的动作的风险系数。

为了进一步提高风险系数的准确性，在另一些实施例中，S22中“目标器械的关键点的位置”，可以是指目标器械的关键点在当前动作图像中的位置，可以根据图像获取组件在实际操作场景的目标坐标下的位姿以及图像获取组件自身的参数信息(例如放大倍数等)将动作图像中的位置变换至目标坐标系下的目标位姿，以根据该目标位姿确定目标器械与目标对象之间的相对位置关系，进而确定目标器械所执行的动作的风险系数。

为了进一步提高风险系数的准确性，在又一些实施例中，也可以获取图像获取组件在实际操作场景的目标坐标系下的位姿以及图像获取组件自身的参数信息(例如放大倍数等)，根据所获取的这些信息调整网络模型的参数，然后将当前动作图像输入调整后的网络模型，得到目标器械的关键点在目标坐标系下的目标位姿，也即，S22中“目标器械的关键点的位置”也可以是目标器械在目标坐标系下的目标位姿。

S23：根据当前动作图像中目标器械的关键点的位置和上一动作图像中目标器械的关键点的位置，确定目标器械所执行的动作的类型。

目标器械在执行动作的情况下，通常在连续获取的两个动作图像(即当前动作图像和上一动作图像)中，关键点的位置是发生变化的，并可以根据关键点位置的变化趋势确定目标器械所执行的动作的类型。

上述步骤S23可以将含有目标器械关键点位置的当前动作图像和含有目标器械关键点位置的上一动作图像输入第二子网络，得到第二子网络输出的动作的类型标识。

步骤S23可以仅确定目标器械的类型，也可以确定当前动作图像中所有器械的类型，以辅助确定风险系数。

S24：根据类型确定目标器械所执行的动作的风险系数。

在一些实施例中，步骤S24可以直接根据目标器械所执行的动作的类型确定风险系数，例如，电凝动作的风险系数明显高于夹取动作的风险系数。

在一些实施例中，步骤S24也可以根据目标器械所执行的动作的类型，并结合目标器械的关键点与目标对象的距离、相对位置关系等因素来确定风险系数。例如，在“目标器械的关键点的位置”为目标器械在实际操作场景的目标坐标下的位姿的情况下，可以将目标器械所执行的动作的类型、目标器械的关键点的位置、目标对象的关键点在目标坐标系下的位姿输入第三子网络，由第三子网络输出得到风险系数。

步骤S24可以只确定目标器械的风险系数，也可以确定当前动作图像中所有器械的风险系数，以辅助操作者选择是否切换所控制的器械。

在一些实施例中，如图6所示，在S20之后，还可以在控制台显示当前动作图像中目标器械的信息，目标器械的信息包括以下至少一者：目标器械的类型标识、目标器械的各关键点的位置信息、目标器械所执行的动作的风险系数。

在图6中，“模型训练与部署”是指训练与部署图像识别模型，该图像识别模型可以识别出目标器械所执行的动作的类型、目标器械的关键点的位置、目标器械所执行的动作的风险系数；图像数据即是上述动作图像的数据；操作动作识别即是采用图像识别模型识别目标器械所执行的动作的类型、目标器械的关键点的位置、目标器械所执行的动作的风险系数；操纵器驱动器校正动作对应本申请S40；显示，是指显示图像识别模型的识别结果，操作者根据所显示的内容进行操作。

图7示出了显示图像的一个示意图，其中，左下角方框中的第一器械的类型标识为0xb2，风险系数为0.16，在图像坐标系中的横坐标为67，纵坐标为300；右下角方框中的第二器械的类型标识为0xf3，风险系数为0.2，在图像坐标系中的横坐标为386，纵坐标为312。

S30：根据风险系数确定目标校正值。

在一些实施例中，可以仅根据风险系数确定目标校正值。例如，S30包括如下步骤S311和S312。

S311：根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级。

如图8所示，在根据动作图像识别出器械的类型(在图8中以cls表示)、动作的风险系数(在图8中以thr表示)、各关键点的坐标(在图8中一个方括号中的坐标为一个器械上各关键点的坐标，多个方框号中的坐标分别为不同器械上关键点的坐标)之后，可以根据动作的风险系数取值thr位于哪一个预定风险等级的取值区间来确定器械对应的风险等级。

S312：根据目标风险等级确定目标校正值。

预定的风险等级可以为两级、三级或者更多级，不同级所对应的校正值是不同的，这里的校正值可以包括校正方向和校正量。也即，不同级所对应的校正方向和/或校正量不同。从而在确定了目标风险等级之后，便可以确定目标校正值。

例如，预定的风险等级包括三级，分别对应三个控制模式。其中，第一控制模式为助力模式，该模式在操纵器的位姿变化幅度不变的情况下增大目标器械的变化幅度；第二级为微调模式，该控制模式不会改变目标器械的变化幅度，但是会调整目标器械的目标位姿；第三级为阻力模式，该模式在操纵器的位姿变化幅度不变的情况下减小目标器械的变化幅度。

在一些实施例中，如图9所示，S30包括如下步骤S321、S322、S333和S324。

S321：根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级。

该步骤的具体描述可以参考上述步骤S311。

S322：根据目标器械的类型，确定风险系数的预定阈值。

当目标器械所执行的动作的风险系数低于或等于预定阈值时，确定目标器械所执行的动作是安全的。

对于不同类型的器械，可以设置不同的预定阈值，对于执行高风险操作的器械，预定阈值可以设置为较低值，而对于执行低风险操作的器械，预定阈值可以设置为较高值。例如，手术操作中电凝等有源的动作比较危险，可以将这些操作中的动作所对应的预定阈值设置为0.1，而对于执行夹、提等操作的夹持组件，可以将对应的预定阈值设置为0.3。风险系数的取值在0至1之间。

S323：根据风险系数、预定阈值确定目标校正值。

在一些实施例中，S323可以是：对不同的风险系数、预定阈值的组合设置对应不同的校正值，从而在确定风险系数、预定阈值之后，便可以确定目标校正值。

在另一些实施例中，S323可以是：先根据目标风险等级确定第一校正值(请参考步骤S312)，根据风险系数的取值是否低于预定阈值和/或风险系数的取值与预定阈值的接近程度确定第一校正值的调整量，采用该调整量调整第一校正值得到目标校正值。

在一些实施例中，S30包括如下步骤S331、S332和S333。

S331：根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级。

该步骤的具体描述可以参考上述步骤S311。

S332：获取经验控制方式与自动控制方式分别对应的比例系数。

例如，在执行操作前或者执行操作的过程中，可以显示如图11所示的交互界面，以便操作者选择是否开启器械的操纵校正功能，若开始则执行本说明书所提供的器械的操纵校正方法，若不开启则不执行。在操作者选择开启之后，还可以进一步显示图12所示的交互界面，以便操作者调节经验控制、自动控制方式分别对应的比例系数，二者分别对应的比例系数之和为1。其中，自动控制方式是指采用了本说明书所提供的器械的操纵校正方法的控制方式。

S333：根据风险系数、自动控制方式对应的比例系数确定目标校正值。

在一些实施例中，S323可以是：设置不同的比例系数取值区间，对于不同的风险系数、比例系数取值区间的组合设置对应不同的校正值，从而在确定了风险系数、比例系数取值所在的区间后，便可以确定目标校正值。

在另一些实施例中，S323可以是：先根据目标风险等级确定第一校正值(请参考步骤S312)，根据自动控制方式所对应的比例系数确定第一校正值的调整量(例如将第一校正值乘以自动控制方式的比例系数得到第一校正值的调整量)，采用该调整量调整第一校正值得到目标校正值。

在一些实施例中，如图10所示，S30还可以包括如下步骤S341、S342和S343。

S341：根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级。

S342：获取经验控制方式与自动控制方式分别对应的比例系数。

S343：根据目标器械的类型，确定风险系数的预定阈值。

S344：根据风险系数、风险系数的预定阈值、自动控制方式对应的比例系数确定目标校正值。

上述步骤S341至S344的描述可以参阅相关实施例。

S40：根据目标校正值校正机器人端的第一目标位姿，所述机器人根据校正后的第一目标位姿控制机械臂及目标器械上的各可控器件，和/或，根据目标校正值校正控制台端的第二目标位姿，所述第二目标位姿为控制台上的操纵器对应的位姿。

机器人在执行控制操作时，会先获取目标器械的目标位姿，根据该目标位姿计算机械臂及目标器械上各可控器件(例如电机)的预定参数(例如电机的力矩、转速、旋转角度等)的目标变化值，采用反馈控制等控制方式使得预定参数的变化值达到目标变化值。S40是在机器人已经获取到一时刻的第一目标位姿的情况下，对该目标位姿进行校正，然后机器人根据校正后的第一目标位姿控制机械臂及目标器械上的各可控器件。

在一些机器人系统中，设置了主从一致性控制原则，根据这一规则，机器人(从端)的姿态会随控制台上操纵器(主端)的姿态变化而对应变化。机器人系统预先设置有主端目标位姿(即操纵器的位姿)与从端目标位姿(即控制器械所要达到的位姿)之间的对应关系，控制台会根据操纵器的姿态记录第二目标位姿，根据第二目标位姿、上述对应关系便可以确定器械所要达到的位姿，从而机器人可以根据器械所要达到的位姿控制各机械臂上的可控器件。基于此，通过校正控制台端所记录的操纵器位姿(即第二目标位姿)，也可能够达到校正器械位姿的目的。

S40可以将目标校正值分配至操纵器或机器人的各个关节的电机，从而对第一目标位姿或第二目标位姿进行校正。如图13所示。

分配至各个关节电机的校正值可以作用于电机输出力矩的控制、电机转速的控制、电机旋转位置的控制等，从而实现对目标器械动作的精细化校正。如图14所示。

机器人中的各电机可以采用FOC控制算法，该算法能够对位置，速度和力矩进行像素级控制，使得电机转矩平稳、噪声小、效率高，并且具有高速的动态响应，在实际操作场景能够提高控制精度，协助操作者完成更加精微的动作。

如图15所示，在FOC控制算法中，根据不同的控制控制模式，输入相应的控制目标，例如转角theta、转速N，目标力矩解算得到的电流iq，经PID算法计算后得到d轴和q轴电压，经反park变换后输入至SVPWM模块从而控制电压转化模块的的开关状态驱动电机，为了实现力矩控制，对电机三相电流进行采样，电流经clark变换和park变换后反馈至力矩控制模块，实现力矩的闭环控制。为了精确控制电机的位置和转速，对电机位置进行采集，反馈至位置控制模块，位置信息经微分后反馈至转速控制模块。

SVPWM，电压空间矢量调制通过改变各相导通时间的分配来形成所需的任意空间矢量。电机获得幅值恒定的圆形旋转磁场；电压利用率高，谐波小，易于数字化实现；根据三相通电顺序组合，形成8种组合矢量由这八种组合接力合成，使得操作更加顺滑。

在一些实施例中，除了电机之外，机器人中的可控器件还可以包括其他器件，例如电位器、可控硅、用于产生性的通电螺线管等。相应地，S40也可以通过控制这些器件来校正第一目标位姿或第二目标位姿。

在一些实施例中，在S40之前，还获取目标校正值的取值区间；当目标校正值小于取值区间的最小值时，将取值区间的最小值作为目标校正值；当目标校正值大于取值区间的最大值时，将取值区间的最大值作为目标校正值。也即，将目标校正值进行限幅。

本说明书所提供的器械的操纵校正方法，根据目标器械末端的动作图像确定目标器械所执行的动作的风险系数，并根据风险系数确定目标校正值，采用该目标校正值校正机器人端的第一目标位姿或控制台端的第二目标位姿，从而自动校正操作者对目标器械位姿的控制，降低由于操作者操作问题带来的风险；此外，还提高了图像的利用率。

本说明书提供一种器械的操纵校正装置，可以用于实现图5所示的器械的操纵校正方法。该装置包括第一获取单元10、第一确定单元20、第二确定单元30和校正单元40。

第一获取单元10用于实时获取目标器械末端的动作图像。

第一确定单元20用于根据所述动作图像中确定目标器械所执行的动作的风险系数。

第二确定单元30用于根据所述风险系数确定目标校正值。

校正单元40用于根据所述目标校正值校正机器人端的第一目标位姿，所述机器人根据校正后的第一目标位姿控制机械臂及目标器械上的各可控器件，和/或，根据所述目标校正值校正控制台端的第二目标位姿，所述第二目标位姿为控制台上的操纵器对应的位姿。

在一些实施例中，所述第一确定单元将所述动作图像输入目标网络模型，得到所述目标网络模型输出的风险系数；其中，所述目标网络模型是在执行操作之前根据输入的操作类型选取的。

在一些实施例中，所述第一确定单元包括：第一识别子单元，用于从当前动作图像中识别出目标器械并确定目标器械的类型；第二识别子单元，用于根据目标器械的类型，识别出目标器械的关键点的位置；第一确定子单元，用于根据当前动作图像中目标器械的关键点的位置和上一动作图像中目标器械的关键点的位置，确定目标器械所执行的动作的类型；第二确定子单元，用于根据所述类型确定目标器械所执行的动作的风险系数。

在一些实施例中，所述装置还包括：显示单元，用于显示当前动作图像中目标器械的信息，所述目标器械的信息包括：目标器械的类型标识，和/或目标器械的各关键点的位置信息，和/或目标器械所执行的动作的风险系数。

在一些实施例中，所述第二确定单元包括：第三确定子单元，用于根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；第四确定子单元，用于根据所述目标风险等级确定目标校正值。

在一些实施例中，所述第二确定单元包括：第三确定子单元，用于根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；第五确定子单元，用于根据目标器械的类型，确定风险系数的预定阈值；第六确定子单元，用于根据风险系数、预定阈值确定目标校正值。

在一些实施例中，所述第二确定单元包括：第三确定子单元，用于根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；获取子单元，用于获取经验控制方式与自动控制方式分别对应的比例系数；第七确定子单元，用于根据风险系数、自动控制方式对应的比例系数确定目标校正值。

在一些实施例中，所述装置还包括：第二获取单元，用于获取目标校正值的取值区间；第三确定单元，用于当目标校正值小于所述取值区间的最小值时，将所述取值区间的最小值作为目标校正值；当目标校正值大于所述取值区间的最大值时，将所述取值区间的最大值作为目标校正值。

本说明书提供一种控制台，包括操纵器和第一控制器。

第一控制器用于记录所述操纵器的位姿，所述操纵器的位姿用于控制搭载目标器械的机器人。

所述第一控制器还用于执行以下操作：实时获取目标器械末端的动作图像；

根据所述动作图像中确定目标器械所执行的动作的风险系数；

根据所述风险系数确定目标校正值；

根据所述目标校正值校正控制台端的第二目标位姿，所述第二目标位姿为控制台上的操纵器对应的位姿。

本说明书提供一种机器人，包括机械臂和第二控制器。

机械臂用于搭载目标器械，并根据第二控制器的控制信号进行动作。

第二控制器向机械臂中的各可控器件发送控制信号，并用于执行以下操作：获取目标校正值；所述目标校正值是通过以下方式确定的：根据实时获取的目标器械末端的动作图像中确定目标器械所执行的动作的风险系数；根据所述风险系数确定目标校正值；根据所述目标校正值校正机器人端的第一目标位姿，并根据校正后的第一目标位姿控制机械臂及目标器械上的各可控器件。

本发明实施例还提供了一种控制器，可以是上述第一控制器，也可以是上述第二控制器。如图16所示，该控制器可以包括处理器1601和存储器1602，其中处理器1601和存储器1602可以通过总线或者其他方式连接，图16中以通过总线连接为例。

处理器1601可以为中央处理器(Central Processing Unit，CPU)。处理器1601还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器1602作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的器械的操纵校正方法对应的程序指令/模块。处理器1601通过运行存储在存储器1602中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据分类，即实现上述方法实施例中的器械的操纵校正方法。

存储器1602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器1601所创建的数据等。此外，存储器1602可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器1602可选包括相对于处理器1601远程设置的存储器，这些远程存储器可以通过网络连接至处理器1601。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器1602中，当被所述处理器1601执行时，执行上述实施例中的器械的操纵校正方法。

上述控制器具体细节可以参阅对应实施例中的相关描述和效果进行理解，此处不再赘述。

本说明书还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令被执行时实现上述器械的操纵校正方法的步骤。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims (12)

1.一种器械的操纵校正方法，其特征在于，包括：

实时获取目标器械末端的动作图像；

根据所述动作图像中确定目标器械所执行的动作的风险系数；

根据所述风险系数确定目标校正值；

根据所述目标校正值校正机器人端的第一目标位姿，所述机器人根据校正后的第一目标位姿控制机械臂及目标器械上的各可控器件，和/或，根据所述目标校正值校正控制台端的第二目标位姿，所述第二目标位姿为控制台上的操纵器对应的位姿。

2.根据权利要求1所述的方法，其特征在于，根据所述动作图像中确定目标器械所执行的动作的风险系数，包括：

将所述动作图像输入目标网络模型，得到所述目标网络模型输出的风险系数；其中，所述目标网络模型是在执行操作之前根据输入的操作类型选取的。

3.根据权利要求1所述的方法，其特征在于，根据所述动作图像中确定目标器械所执行的动作的风险系数，包括：

从当前动作图像中识别出目标器械并确定目标器械的类型；

根据目标器械的类型，识别出目标器械的关键点的位置；

根据当前动作图像中目标器械的关键点的位置和上一动作图像中目标器械的关键点的位置，确定目标器械所执行的动作的类型；

根据所述类型确定目标器械所执行的动作的风险系数。

4.根据权利要求3所述的方法，其特征在于，在根据所述动作图像中确定目标器械所执行的动作的风险系数之后，还包括：

显示当前动作图像中目标器械的信息，所述目标器械的信息包括：目标器械的类型标识，和/或目标器械的各关键点的位置信息，和/或目标器械所执行的动作的风险系数。

5.根据权利要求1所述的方法，其特征在于，根据所述风险系数确定目标校正值，包括：

根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；

根据所述目标风险等级确定目标校正值。

6.根据权利要求1所述的方法，其特征在于，根据所述风险系数确定目标校正值，包括：

根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；

根据目标器械的类型，确定风险系数的预定阈值；

根据风险系数和预定阈值确定目标校正值。

7.根据权利要求1所述的方法，其特征在于，根据所述风险系数确定目标校正值，包括：

根据预先确定的各风险等级的取值范围确定目标器械对应的目标风险等级；

根据所述目标风险等级确定第一校正值；

获取经验控制方式与自动控制方式分别对应的比例系数；

根据风险系数对应的第一校正值、自动控制方式对应的比例系数确定第三校正值，并将所述第三校正值作为目标校正值。

8.根据权利要求1所述的方法，其特征在于，在根据所述目标调节值调节机器人的各机械臂上各电机的预定参数，和/或，根据所述目标调节值调节机器人的操纵器上各关节的位姿信息之前，还包括：

获取目标校正值的取值区间；

当目标校正值小于所述取值区间的最小值时，将所述取值区间的最小值作为目标校正值；当目标校正值大于所述取值区间的最大值时，将所述取值区间的最大值作为目标校正值。

9.一种器械的操纵校正装置，其特征在于，包括：

第一获取单元，用于实时获取目标器械末端的动作图像；

第一确定单元，用于根据所述动作图像中确定目标器械所执行的动作的风险系数；

第二确定单元，用于根据所述风险系数确定目标校正值；

校正单元，用于根据所述目标校正值校正机器人端的第一目标位姿，所述机器人根据校正后的第一目标位姿控制机械臂及目标器械上的各可控器件，和/或，根据所述目标校正值校正控制台端的第二目标位姿，所述第二目标位姿为控制台上的操纵器对应的位姿。

10.一种控制台，其特征在于，包括：

操纵器；

第一控制器，用于记录所述操纵器的位姿，所述操纵器的位姿用于控制搭载目标器械的机器人；

所述第一控制器还用于执行以下操作：实时获取目标器械末端的动作图像；

根据所述动作图像中确定目标器械所执行的动作的风险系数；

根据所述风险系数确定目标校正值；

根据所述目标校正值校正控制台端的第二目标位姿，所述第二目标位姿为控制台上的操纵器对应的位姿。

11.一种机器人，其特征在于，包括：

机械臂，用于搭载目标器械，并根据第二控制器的控制信号进行动作；

第二控制器，向机械臂中的各可控器件发送控制信号，并用于执行以下操作：

获取目标校正值；所述目标校正值是通过以下方式确定的：根据实时获取的目标器械末端的动作图像中确定目标器械所执行的动作的风险系数；根据所述风险系数确定目标校正值；

根据所述目标校正值校正机器人端的第一目标位姿，并根据校正后的第一目标位姿控制机械臂及目标器械上的各可控器件。

12.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令被执行时实现权利要求1至8任一项所述方法的步骤。