CN113729967A - 医生控制台的控制方法、医生控制台、机器人系统和介质 - Google Patents

Abstract

本申请涉及机器人技术领域，特别是涉及一种医生控制台的控制方法、医生控制台、机器人系统和介质。所述控制方法包括：检测操作者在多个显示装置中所选择的主显示装置；根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系；根据操作映射转换关系，藉由主控部件控制手术机器人执行操作。采用本方法能够提升手术机器人调节控制的便捷性。

Description

医生控制台的控制方法、医生控制台、机器人系统和介质

技术领域

本申请涉及机器人技术领域，特别是涉及一种医生控制台的控制方法、医生控制台、机器人系统和介质。

背景技术

随着现代化医疗技术的发展，机器人也广泛应用于医疗手术中，如各种微创手术机器人、内窥镜手术机器人等。在通过机器人进行手术的时候，操作者通过操控台的显示装置观察病人体内的组织特征，并以遥控方式或远程方式操控机器人上的机械臂及手术器械来完成手术的操作。

在传统方式中，操作者只能通过单一显示装置观察病人体内的组织特征。在操作过程难于改变操作者观察模式。在医生的手术习惯中，调整观测姿势，或者调整观测模式，是希望通过调整施术者的姿势来改变手术器械的操作方向、或操作方式等。因此，目前的手术机器人尚未向操作者提供更便捷地进行手眼一致式的调节方式。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升手术机器人调节便捷性的医生控制台的控制方法、医生控制台、机器人系统和介质。

一种医生控制台的控制方法，其特征在于，医生控制台包含多个显示装置和主控部件，主控部件用于根据主从映射关系控制手术机器人，其中，所述控制方法包括：检测操作者在多个显示装置中所选择的主显示装置；根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系；根据操作映射转换关系，藉由主控部件控制手术机器人执行操作。

在其中一个实施例中，检测操作者在多个显示装置中所选择的主显示装置，包括：获取检测图像，其中，检测图像包含操作者与至少一个显示装置；识别检测图像中反映操作者的头部与各显示装置之间的第一图像位置关系；基于第一图像位置关系，确定主显示装置。

在其中一个实施例中，上述方法还包括：识别检测图像中反映同一操作者的手部与主控部件之间的第二图像位置关系。

在本实施例中，基于第一图像位置关系，确定主显示装置，包括：结合第一图像位置关系和第二图像位置关系，确定主显示装置。

在其中一个实施例中，检测操作者在多个显示装置中所选择的主显示装置，包括：通过检测用于提示主显示装置的确认选项，确定操作者所使用的主显示装置。

在其中一个实施例中，根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系，包括：根据所检测到操作者更换前后的两个主显示装置之间的显示位姿变化，调整操作映射转换关系。

在其中一个实施例中，根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系，包括：检测操作者操作所选择的主显示装置而引起的显示位姿变化；根据显示位姿变化，调整操作映射转换关系。

在其中一个实施例中，根据操作映射转换关系，藉由主控部件控制手术机器人执行操作，包括：根据操作映射转换关系，调整主控部件的姿态，以使得在手术机器人位姿不变的情况下，主显示装置所显示的手术机器人的操作末端的姿态对应于调整后的主控部件的姿态。

在其中一个实施例中，上述方法还包括：获取操作者位姿，操作者位姿用于判定操作者是否位于安全位置；当操作者位于安全位置时，基于显示装置模式切换指令控制多个显示装置进行模式切换。

在其中一个实施例中，基于显示装置模式切换指令控制多个显示装置进行模式切换，包括：基于显示装置模式切换指令，控制多个显示装置从第一显示模式切换至第二显示模式。

一种医生控制台，所述医生控制台包括：存储器、处理器、多个显示装置以及主控部件；多个显示装置用于对手术机器人的动作进行显示；存储器存储有计算机程序，处理器执行计算机程序时实现上述任一实施例方法的步骤，调整主控部件与手术机器人之间的操作映射转换关系；主动部件用于根据操作映射转换关系，控制手术机器人执行操作。

一种机器人系统，所述系统包括：手术机器人以及上述任一实施例的医生控制台；医生控制台用于生成机器人控制指令；手术机器人用于基于机器人控制指令执行操作。

在其中一个实施例中，手术机器人包括至少一个机械臂，各机械臂上装载有手术器械。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。

上述医生控制台的控制方法、医生控制台、机器人系统和介质中，医生控制台包含多个显示装置和主控部件，主控部件用于根据主从映射关系控制手术机器人，通过检测操作者在多个显示装置中所选择的主显示装置，然后根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系，并根据操作映射转换关系，藉由主控部件控制手术机器人执行操作。从而，可以通过对操作者所对应的主显示装置进行检测，并根据主显示装置的显示位姿，进行主控部件与手术机器人之间的操作映射转换关系的调整与控制，使得可以通过调整主控部件与手术机器人之间的操作映射转换关系进行手术机器人的控制，可以提升手术机器人的调控的便捷性，也可以提升手术机器人的控制准确性。

附图说明

图1为一个实施例中医生控制台的控制方法的应用场景图；

图2为一个实施例中医生控制台的示意图；

图3为一个实施例中显示装置的示意图；

图4为另一个实施例中显示装置的示意图；

图5为一个实施例中操作者与显示装置对应关系的示意图；

图6为另一个实施例中操作者与显示装置对应关系的示意图；

图7为一个实施例中医生控制台的控制方法的流程示意图；

图8为另一个实施例中医生控制台的示意图；

图9为一个实施例中控制台的示意图；

图10为一个实施例中内窥镜成像系统的示意图；

图11为一个实施例中模式切换前后操作者位姿变换的示意图；

图12为另一个实施例中医生控制台的控制方法的流程示意图；

图13为又一个实施例中医生控制台的控制方法的示意图；

图14为一个实施例中医生控制台的控制装置的结构框图；

图15为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的医生控制台的控制方法，可以应用于如图1所示的应用环境中，即应用于机器人系统中，机器人系统可以包括医生控制台10以及手术机器人20。医生控制台10通过网络与手术机器人20进行通信。

在本实施例中，参考图2，图1中的医生控制台10可以包含多个显示装置101、主控部件102、存储器103和处理器104，存储器103存储有计算机程序，处理器104执行计算机程序时实现医生控制台的控制方法的步骤，调整所述主控部件102与手术机器人20之间的操作映射转换关系。

具体地，处理器104执行计算机程序时实现检测操作者在多个显示装置101中所选择的主显示装置，并根据主显示装置的显示位姿，调整主控部件102与手术机器人20之间的操作映射转换关系。进一步，操作者可以通过对主控部件102进行操作，使得主控部件102根据调整后的主从映射关系控制手术机器人20。其中，存储器103和处理器104可以通过服务器实现，如通过单个服务器或者是服务器集群实现，以执行医生控制台的控制方法。具体控制方法后文将进行详细说明。

在本实施例中，多个显示装置101可以包括AR眼镜和显示屏中的至少一种。

在其中一个实施例中，当多个显示装置101包括AR眼镜时，则AR眼镜提供反映显示位姿的位姿数据。

其中，位姿数据可以包括位置坐标数据以及姿态数据，AR眼镜提供的位姿数据可以是指佩戴AR眼镜的操作者的位姿数据，如头部位姿等。

在本实施例中，AR眼镜可以实时采集位姿数据，并反馈至服务器。

在其中一个实施例中，当多个显示装置101包括显示屏时，继续参考图2，多个显示装置101可以包括第一显示装置1011和第二显示装置1012，第一显示装置1011和第二显示装置1012与医生控制台10的基座105相连接。其中，各显示屏固定在医生控制台的预设位置上，且以预设的朝向(又称姿态)向医生/护士等提供内窥镜拍摄的影像等。医生控制台根据其自身所在坐标系，提供各显示屏的位姿数据。

在本实施例中，第一显示装置1011以及第二显示装置1012可以基于控制指令进行模式的切换，即使得多个显示装置101从第一显示模式切换至第二显示模式。

在一个实施例中，第一显示装置1011可以基于模式切换指令从第一位置切换至第二位置，第二显示装置1012基于模式切换指令从第三位置切换至第四位置。同理，第一显示装置1011可以基于模式切换指令从第二位置切换至第一位置，第二显示装置1012基于模式切换指令从第四位置切换至第三位置，本申请对此不作限制。多个显示装置的切换过程以下结合图2～图6进行详细说明。

继续参考图2，第一显示装置1011和第二显示装置1012分别与基座105连接，第一显示装置1011和第二显示装置1012用于供操作者选择性使用观察。如此配置，显示装置可以兼容第一观察模式和第二观察模式两种观察模式，使得可以适应不同操作者(医护人员)不同的操作需求和偏好，同时可以使操作者通过切换观察方式，避免操作者长时间保持单一姿态操作造成工作疲劳。

在本实施例中，参考图3，第一显示装置1011可以绕第一显示装置1011与基座105的连接轴线进行旋转，即在第一位置与第二位置之间转动。当第一显示装置1011处于第一位置时，显示装置的坐标位置位于{Me1}，当处于第二位置时，显示装置所在坐标系位于{Me1}’。

进一步，参考图4，第二显示装置1012可绕第二显示装置1012与基座1053的连接轴线进行旋转，即在第三位置与第四位置之间移动。具体地，当第一显示装置10111处在第一位置{Me1}时，第二显示装置1012所在坐标位置位于第三位置{Me2}’，当第一显示装置1011处在第二位置{Me1}’时，第二显示装置1012所在坐标位置位于第四位置{Me2}。

在医疗手术中，操作者在手术中采用第一观察模式进行观察时，操作者一般平视第一显示装置1011，参考图3，而采用第二观察模式观察时，操作者一般低头观察第二显示装置1012，参考图4。操作者可以根据需要在两种观察模式之间选择和切换，这样操作者可以改变工作姿态，减缓长时间保持单一姿态造成的疲劳。

在本实施例中，当操作者处于第一观察模式时，第一显示装置1011处于第一位置，第一显示装置1011的坐标位置位于{Me1}，参考图5，此时第二显示装置1012处于第三位置，基于图4可知，此时第二显示装置1012的坐标位置位于{Me2}’。

在本实施例中，当通过模式切换，从第一观察模式切换至第二观察模式时，参考图6，第一显示装置1011绕轴线旋转，形成下倾，处于第二位置，第一显示装置1011的坐标位置位于{Me1}’，第二显示装置1012处于第四位置，继续参考图4，此时第二显示装置1012的坐标位置位于{Me2}。此时，第一显示装置1011和第二显示装置1012相适配，完成模式的切换。

本领域技术人员可以理解的是，以上仅为举例说明，在其他实施例中，控制中心也可以基于控制指令，控制多个显示装置101从第二显示模式切换至第一显示模式，即控制第一显示装置1011从第二位置切换至第一位置，并控制第二显示装置1012从第四位置切换至第三位置。

本实施例中，继续参考图2，医生控制台10还可以包括扶手106及升降调节机构107，扶手106用于承托操作者的手臂，扶手106通过升降调节机构107可升降地与基座105连接，使得主控部件102及扶手106可以调节高度，以适应不同的操作者。

在其中一个实施例中，继续参考图2，主控部件102可以是主操作手，可以包括左主操作手以及右主操作手，通过主操作手即可控制手术机器人操作。

在其中一个实施例中，医生控制台还可以包括成像设备，成像设备用于拍摄包括操作者头部位置、左右手位置的图像，并将图像实时传输至处理器，并使得处理器进行识别处理后，获取操作者头部位置与手部位置，并基于操作者的头部位置以及手部位置确定主显示装置。

在其中一个实施例中，继续参考图1，手术机器人20可以包括至少一个机械臂201，各机械臂201上装载有手术器械。

在本实施例中，手术器械可以挂载于机械臂201上。手术器械可以包括内窥镜、手术刀、手术钳以及缝合针等。

在本实施例中，结合参考图1和图2，主控部件102与手术机器人20之间存在着一定的空间映射关系，主控部件102用于控制手术机器人20执行目标动作，如切割、缝合、活检采样等。

在其中一个实施例中，继续参考图1，辅助装置可以包括图像端，如图像台车30，以及器械台40、呼吸机以及麻醉机50中至少一种。

如前文所述，医生控制台的控制方法应用与机器人系统中，以下将结合机器人系统，对医生控制台的控制方法以及手术机器人的控制过程进行详细说明。

在一个实施例中，如图7所示，提供了一种医生控制台的控制方法，以该方法应用于前文所述的服务器为例进行说明，包括以下步骤：

步骤S702，检测操作者在多个显示装置中所选择的主显示装置。

如前文所述，医生控制台包括多个显示装置，如可以包括第一显示装置和第二显示装置。主显示装置是指操作者直接进行显示观察的装置，如佩戴于医生头部的AR眼镜，或者是操作者直接查看的显示装置等，如图5所示中的显示装置1011以及图6所示的显示装置1012均是指主显示装置。

在本实施例中，服务器可以通过安装于医生手术台的图像采集设备或者是通过佩戴于于医生头部的AR眼镜等，通过采集图像或者是采集操作者的位姿数据，以确定操作者在多个显示装置中所选择的主显示装置。

步骤S704，根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系。

其中，显示位姿是指显示装置的位置与姿态。

操作映射转换关系是指主控部件对手术机器人进行控制的关系，操作映射转换关系可以包括对坐标位置的关系以及姿态的关系。

在本实施例中，服务器在确定主显示装置之后，可以对应获取到主显示装置的显示位姿，进行显示装置的显示模式的判定，并在确定操作者变更显示模型时，基于显示位姿，对主控部件与手术机器人之间的操作映射转换关系进行调整，并用于后续手术机器人的控制。

步骤S706，根据操作映射转换关系，藉由主控部件控制手术机器人执行操作。

在本实施例中，服务器在完成操作映射转换关系的调整之后，可以基于操作者对主控部件的操作，通过操作映射转换关系控制手术机器人执行操作，如控制手术机器人执行切割、缝合、活检采样等。

上述实施例中，医生控制台包含多个显示装置和主控部件，主控部件用于根据主从映射关系控制手术机器人，通过检测操作者在多个显示装置中所选择的主显示装置，然后根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系，并根据操作映射转换关系，藉由主控部件控制手术机器人执行操作。从而，可以通过对操作者所对应的主显示装置进行检测，并根据主显示装置的显示位姿，进行主控部件与手术机器人之间的操作映射转换关系的调整与控制，使得可以通过调整主控部件与手术机器人之间的操作映射转换关系进行手术机器人的控制，可以提升手术机器人的调控的便捷性，也可以提升手术机器人的控制准确性。

在其中一个实施例中，检测操作者在多个显示装置中所选择的主显示装置，可以包括：获取检测图像，其中，检测图像包含操作者与至少一个显示装置；识别检测图像中反映操作者的头部与各显示装置之间的第一图像位置关系；基于第一图像位置关系，确定主显示装置。

如前所述，医生控制台、或者手术室内可以配置有成像设备，成像设备可以采集指定位置区域的图像，如采集包含医生控制台上至少一个显示装置的图像等。

在本实施例中，服务器可以获取成像设备采集的检测图像，检测图像中可以包括操作者和/或至少一个显示装置。

在本实施例中，服务器可以对获取到的检测图像中的操作者以及显示装置进行识别，以识别出操作者的头部与各显示装置之间的第一图像位置关系。

具体地，服务器可以识别出操作者头部是低头或者是平视，以及识别出操作者的头部与显示装置之间的位置距离，即得到操作者的头部与各显示装置之间的第一图像位置关系。

在本实施例中，服务器可以基于识别得到的第一图像位置关系，确定主显示装置。例如，继续参考图5和图6，当头部为低头，且与显示装置之间的距离较近，则可以确定主显示装置为第二显示装置。当头部为平视，且与显示装置之间的距离较远，则可以确定主显示装置为第一显示装置。

在其中一个实施例中，上述方法还可以包括：识别检测图像中反映同一操作者的手部与主控部件之间的第二图像位置关系。

在本实施例中，成像设备采集到的检测图像中还可以包括操作者的手部。在不同的手术阶段，操作者的手部特征并不相同，其与主控部件之间的位置并不相同。对于不同的操作者，手部与主控部件之间的位置距离也并不相同。

在本实施例中，服务器可以通过对检测图像进行识别处理，以确定操作者的手部特征，进而确定同一操作者的手部与主控部件之间的第二图像位置关系。

在本实施例中，基于第一图像位置关系，确定主显示装置，可以包括：结合第一图像位置关系和第二图像位置关系，确定主显示装置。

在本实施例中，服务器在确定第一图像位置关系以及第二图像位置关系之后，以通过结合第一图像位置关系以及第二图像位置关系，对操作者进行判定，进而确定主显示装置。

在本实施例中，服务器对检测图像进行识别，得到第一图像位置关系以及第二图像位置关系，可以基于机器学习的方式确定，即服务器可以预先训练识别模型，进而基于识别模型，对检测图像进行识别，以确定第一图像位置关系以及第二图像位置关系。

在其中一个实施例中，检测操作者在多个显示装置中所选择的主显示装置，可以包括：通过检测用于提示主显示装置的确认选项的动作，确定操作者所使用的主显示装置。

其中，确认选项可以是展示于主显示装置上的选项，可以是提示进行模式切换或者是显示装置切换的切换按钮，或者是对显示模式的选择按钮等。

在本实施例中，服务器可以通过主显示装置提示确认选项，并基于操作者的选择动作，确定主显示装置，如操作者选择第一显示模式，则服务器确定对应于第一显示模式的主显示装置。

在其中一个实施例中，服务器根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系，可以包括：根据所检测到操作者更换前后的两个主显示装置之间的显示位姿变化，调整操作映射转换关系。

在本实施例中，服务器根据所检测到操作者更换前后的两个主显示装置之间的显示位姿变化，调整操作映射转换关系，可以包括：根据更换前的主显示装置的显示位姿确定更换前的操作者视野坐标，以及根据更换后的主显示装置的显示位姿确定更换后的操作者视野坐标；基于更前的操作者视野坐标以及更换后的操作者视野坐标，确定显示装置更换前后的坐标转换关系；根据坐标转换关系，调整操作映射转换关系。

其中，操作者视野坐标是指操作者的眼部所在坐标位置。

在本实施例中，继续参考3，当操作者处于第一观察模式时，此时，主显示装置为第一显示装置1011，操作者眼部所在操作者视野坐标为{H1}，当操作者处于第二观察模式时，继续参考图4，此时，主显示装置为第一显示装置1012，操作者眼部所在操作者视野坐标为{H2}。

在本实施例中，服务器可以根据更换前后的主显示装置的显示位姿，确定更换前后的操作者视野坐标，即根据更换前的显示位姿，如第一显示坐标{Me1}确定更换前的操作者视野坐标{H1}，以及根据更换后的显示位姿，如第二显示坐标{Me2}，确定更换后的操作者视野坐标{H2}。

具体地，服务器可以根据显示位姿，结合人体工程学模型，确定更换前的操作者视野坐标{H1}以及更换后的操作者视野坐标{H2}。

进一步，服务器可以基于确定的更换前的操作者视野坐标{H1}以及更换后的操作者视野坐标{H2}，确定显示装置从更换前后的坐标转换关系。

进一步，服务器可以根据坐标转换关系，调整操作映射转换关系。

在其中一个实施例中，服务器基于更换前的操作者视野坐标以及更换后的操作者视野坐标，确定显示装置更换前后的坐标转换关系，可以包括：基于更换前的操作者视野坐标以及更换后的操作者视野坐标，建立更换前的操作者视野坐标、更换后的操作者视野坐标以及参考坐标之间的视野转换关系；基于视野转换关系，确定显示装置更换前后的坐标转换关系。

如前所述，显示装置与医生控制台的基座连接，显示装置的显示位姿可以是相对于医生控制台基坐标的位姿。例如，参考图8，医生控制台的基坐标为{Mb}，服务器可以基于基坐标{Mb}以及医生台车运动学模型，确定显示装置相对于基坐标{Mb}的相对位置，即确定更换前显示装置相对于基坐标{Mb}的第一相对位置Pe1，以及更换后显示装置相对于基坐标{Mb}的第二相对位置Pe2。

在本实施例中，参考坐标即可以是指医生控制台的基坐标{Mb}。

在本实施例中，服务器在基于显示位姿确定操作者视野坐标之后，可以基于显示装置与基坐标{Mb}之间的相对关系，确定操作者视野坐标与基坐标{Mb}之间的相对关系，即服务器可以建立更换前操作者视野坐标{H1}与基坐标{Mb}的转换矩阵T_H1B，以及更换后操作者视野坐标{H2}与基坐标{Mb}的转换矩阵T_H2B。

进一步，服务器可以通过公式T_H2B＝T_H2H1*T_H1B，得到第二显示装置坐标{Me2}相对第一显示装置坐标{Me1}的转换矩阵T_H2H1，即得到显示装置更换前后的坐标转换关系。

在其中一个实施例中，服务器根据坐标转换关系，调整操作映射转换关系，可以包括：获取主控部件相对于更换前的主显示装置的第一相对位置；获取主控部件对应的机械臂的旋转矩阵，旋转矩阵为机械臂相对于视野镜头的旋转矩阵，视野镜头通过映射关系将视野图像映射至主显示装置；基于第一相对位置以及旋转矩阵，调整在不同显示模式中主控部件与对应的机械臂之间的旋转位置关系；将旋转位置关系以及坐标转换关系作为调整后的操作映射转换关系。

在本实施例中，服务器可以基于医生台车运动学模型，确定主控部件在主显示装置更换前的位置。如继续参考图8，基于医生台车运动学模型，确定更换主显示装置前左主控制手和右主控制手的坐标位置为{Ma1}和{Ma2}。

在本实施例中，主控部件与医生控制台的基座相连接，则服务器基于医生台车运动学模型可以确定主控部件与医生控制台的基坐标{Mb}之间的相对关系。

进一步，服务器可以基于更换前的主显示装置与医生控制台的基坐标{Mb}之间的相对关系，以及主控部件与医生控制台的基坐标{Mb}之间的相对关系，确定主控部件相对于更换前的主显示装置的第一相对位置。

在本实施例中，如前文所述，主控部件控制的机械臂安装于操作台上。，机械臂可以包括装载有手术器械的手术器械机械臂以及视野镜头机械臂，如内窥镜机械臂。手术器械机械臂基于操作映射转换关系受主控部件的控制，并进行操作。手术器械机械臂、内窥镜机械臂以及操作台之间的相对关系可以如图9所示。

在本实施例中，机械臂安装于操作台上，操作台坐标可以表示为{Sb}，位于操作台的基座上，视野镜头机械臂上的视野镜头的坐标为{Se}，可以是相对于操作台坐标{Sb}的相对坐标，装载有手术器械的手术器械机械臂的末端坐标分别为{Sa1}和{Sa2}，如可以分别受控于左主操作手和右主操作手。

在本实施例中，服务器可以基于视野镜头的坐标{Se}以及装载有手术器械的机械臂的末端坐标{Sa1}和{Sa2}，计算手术器械机械臂的旋转矩阵Rsa1和Rsa2，即确定机械臂的旋转矩阵。例如，服务器可以通过机器人运动学模型等，计算机械臂的旋转矩阵等。

在本实施例中，服务器可以基于获取到的第一相对位置以及旋转矩阵，建立在主显示装置更换前后主控部件与对应的机械臂之间的旋转位置关系，即建立在不显示模式下主控部件与对应的机械臂之间的相对关系，实现在不同的主显示装置下，对所对应的主控部件与对应的机械臂之间的旋转位置关系的调整。

进一步，服务器可以将旋转位置关系以及坐标转换关系作为主控部件的操作映射转换关系，即得到调整后的操作映射转换关系。

在本实施例中，还提供了一种内窥镜成像系统的示意图，如图10所示。具体地，内窥镜成像系统将手术操作对象{P}图像投射至第二显示装置{Me2}，并另内窥镜坐标{Se}投射至操作者视野坐标{H2}。例如，操作者沿{H2}的Z方向移动左主操作臂{Ma1}，可另手术器械机械臂{Sa1}沿{Se}的Z方向成比例地移动。

在本实施例中，在通过内窥镜成像系统建立手术器械机械臂与主控部件之间的操作映射转换关系后，主操作手{Ma1}和{Ma2}在操作者视野坐标{H2}下的运动，可成比例地转化为手术器械机械臂{Sa1}和{Sa2}在内窥镜视野坐标{Se}下运动。同时，运动控制器采用可选的视觉伺服、关节力反馈、外加传感器的力反馈等方式，将手术器械机械臂{Sa1}和{Sa2}的运动等效或成比例地转化为主操作手{Ma1}和{Ma2}的运动。

在本实施例中，当采用视觉伺服方法时，服务器可以检测主操作手接收到的末端力/外力矩F_tip，根据工具臂动力学模型，可以计算主操作手在该末端力/外力矩F_tip作用下的预期运动M_master，并计算手术器械机械臂的末端的期望运动M_slave。从内窥镜图像中，可以采取计算机视觉方法，得到手术器械机械臂的末端的实际位置M_slave`。其中，具体的方法可以包括但不限于神经网络算法、光流算法等。

在本实施例中，服务器可以计算M_slave和M_slave`两者的偏差值ε_slave，通过该偏差值，以及根据工具臂动力学模型，可以计算计算手术器械机械臂的末端受力，将该力映射至主手运动空间，之后通过解耦转化为主手关节空间的反馈力矩，并作为输入控制主操作手{Ma1}和{Ma2}的运动。

在其中一个实施例中，服务器根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系，可以包括：检测操作者操作所选择的主显示装置而引起该主显示装置的显示位姿变化；根据显示位姿变化，调整操作映射转换关系。

具体地，服务器可以通过检测操作者的操作，如操作者对显示装置进行旋转、移动，或者是检测到操作者头戴的AR眼镜的位姿的改变等，以此确定主显示装置，并确定主显示装置的显示位姿变化。

进一步，服务器可以根据显示位姿变化，如位置坐标的变化，姿态的改变等，对主控部件与手术机器人之间的操作映射转换关系进行调整。具体调整过程参见前文所述，此处不再赘述。

在其中一个实施例中，服务器根据操作映射转换关系，藉由主控部件控制手术机器人执行操作，可以包括：根据操作映射转换关系，调整主控部件的姿态，以使得在手术机器人位姿不变的情况下，主显示装置所显示的手术机器人的操作末端的姿态对应于调整后的主控部件的姿态。

在本实施例中，服务器可以根据调整后的操作映射转换关系，确定对主控部件的姿态进行调整的调整数据，以基于确定的调整数据，对主控部件的姿态进行调整。

具体地，如前文所述，操作映射转换关系可以包括坐标转换关系以及旋转位置关系。服务器可以根据坐标转换关系，确定主控部件相对于更换后的主显示装置的第二相对位置，并基于第二相对位置以及旋转位置关系，确定对主显示装置更换后的主控部件的调整数据。

在本实施例中，服务器可以根据确定的坐标转换关系，即转换矩阵T_H2H1，确定主控部件相对于更换后的主显示装置的第二相对位置。即根据转换矩阵T_H2H1计算主控部件{Ma1}和{Ma2}在{Me2}下的第二相对位置{Ma1}’和{Ma2}’。

进一步，服务器可以基于第二相对位置{Ma1}和{Ma2}，计算将{Ma1}’和{Ma2}’匹配至{Sa1}和{Sa2}的旋转矩阵Rma1和Rma2，即得到对主显示装置更换后主控部件的调整数据。

在其中一个实施例中，参考图11，示出了一种对主控部件进行调整的示意图，以显示装置从第一观察模式切换至第二观察模式为例进行说明，即主显示装置从第一显示装置更换为第二显示装置为例进行说明。

具体地，服务器可以获取到更换前后的主显示装置的显示坐姿，如第一显示坐标{Me1}以及第二显示坐标{Me2}。

进一步，服务器根据模主显示装置更换前的第一显示坐标{Me1}，以及医生台车运动学模型，确定在主显示装置更换前第一显示坐标{Me1}相对于基坐标{Mb}的第一相对位置Pe1。

进一步，服务器可以基于第一相对位置Pe1，以及人体工程学模型，确定切换前操作者的关键部位坐标，如人体肩部坐标{Ms}相对于基坐标{Mb}的坐标位置Ps1。

同理，服务器根据主显示装置更换后的第二显示坐标{Me2}，以及医生台车运动学模型，确定在主显示装置更换后第二显示坐标{Me2}相对于基坐标{Mb}的第一相对位置Pe2，以及基于第二相对位置Pe2，以及人体工程学模型，确定切换后操作者的关键部位坐标，如人体肩部坐标{Ms}’相对于基坐标{Mb}的坐标位置Ps2。

进一步，服务器可以基于主显示装置更换前后的操作者关键部位坐标，如人体肩部的坐标位置Ps1以及坐标位置Ps2，得到人体肩部的位置差，即Ps1-Ps2。

在本实施例中，服务器可以根据操作者在主显示装置更换前的参考位置，如医生控制台的基坐标{Mb}，以及主控部件的坐标位置，结合人体工程学模型，调整主控部件的操作映射转换关系。

进一步，然后服务器可以基于调整后的操作映射转换关系，对得到的人体肩部的位置差Ps1-Ps2进行转换，以得到主控部件的调整数据，即调整距离，即得到从{Mh}至{Mh}’的位置距离。

进一步，服务器可以控制主控部件从{Mh}移动至{Mh}’，以完成对主控部件的调整。

在其中一个实施例中，服务器基于调整数据，对主控部件进行调整，可以是基于调整数据，确定主控部件的移动轨迹数据，然后根据移动轨迹数据，控制主控部件进行调整。

在其中一个实施例中，服务器在进行主显示装置的更换的时候，还可以进行安全判定，以确定是否进行主显示装置的更换，可以包括：获取操作者位姿，操作者位姿用于判定操作者是否位于安全位置；当操作者位于安全位置时，基于显示装置模式切换指令控制多个显示装置进行模式切换。

其中，操作者位姿是指操作者的姿态与坐标位置，具体可以是操作者某个身体部位的姿态，如头部或者是身体某一部位等。

在本实施例中，服务器在获取到操作者位姿之后，可以基于操作者位姿，进行操作者安全检测，以判定操作者是否处于安全位置。

在本实施例中，服务器确定操作者处于安全位置时，服务器可以基于显示装置模式切换指令控制多个显示装置进行模式切换。

其中，模式切换指令是指用于控制显示装置进行观察模式切换的指令，例如，可以是从第一观察模式切换至第二观察模式，或者也可以是从第二模式切换至第一观察模式，对此不作限制。

在本实施例中，参考图12，安全检测以医生头部为例进行说明。服务器在接收到模式切换指令之后，可以通过传感器等装置检测医生头部位置，并基于检测到的医生头部位置，判定医生头部是否处于安全位置，进而确定是否控制显示装置进行模式的切换，即确定是否更换主显示装置。

在本实施例中，服务器控制显示装置进行模式的切换可以是控制连接显示装置的切换结构进行切换，进行对显示装置进行模式的切换。

在本实施例中，继续参考图12，当服务器确定医生头部未处在安全位置时，可以控制切换机构停止动作，即不进行显示装置进行模式切换。

在本实施例中，当服务器确定医生头部处于安全位置时，此时服务器可以控制切换机构执行切换动作，控制显示装置进行模式切换。

进一步，服务器在控制切换机构进行切换的时候，可以对显示装置的当前位置进行判定，并判断是否达到目标位置。

在本实施例中，当显示装置为达到目标位置时，服务器可以继续获取医生头部位置，并继续进行判定，以确保在切换过程中医生头部一直处于安全位置。

在本实施例中，当服务器确定显示装置处于目标位置时，此时服务器可以调整显示装置处于浮动状态，即处于医生可以手动拖动状态。

在本实施例中，当显示装置处于浮动状态时，医生可以根据自身条件，将显示装置拖动至与自己相匹配的位姿。

在本实施例中，服务器在确定显示装置处于浮动状态之后，可以实时检测是否接受到调整结束指令，即判定医生手动拖动显示装置是否结束。

在本实施例中，当服务器确定接收到调整结束指令后，服务器可以对显示装置进行锁定，即锁定为不能切换，完成显示装置的切换。

上述实施例中，通过在显示装置进行模式切换前以及模式切换中，对操作者的目标部位数据进行检测，并进行判定，使得显示装置的模式切换始终是在操作者处于安全位置时执行的，保障了显示装置切换的安全性，提升切换的准确性。

图13示出了另一个实施例中医生控制台的控制方法的示意图，以下基于图13进行详细说明。

在本实施例中，服务器可以对是否接收到显示模式切换指令进行判断，并在确定接收到显示模式切换指令时，通过手术台车运动学模型。计算操作台上安装的内窥镜坐标{Se}，以及器械的器械坐标{Sa1}和{Sa2}。

进一步，服务器可以通过医生台车运动学模型，计算控制台上主操作手的坐标{Ma1}和{Ma2}，以及第一显示装置坐标{Me1}。

进一步，服务器可以控制显示装置进行模式切换，并在模式切换完成后，通过台车运动学模型，计算第二显示装置坐标{Me2}。

进一步，服务器可以基于内窥镜坐标{Se}、器械坐标{Sa1}和{Sa2}、主操作手的坐标{Ma1}和{Ma2}、第一显示装置坐标{Me1}以及第二显示装置坐标{Me2}，进行计算，并进行主操作手的调整数据。

进一步，服务器可以检测操作者手臂位置，若位于安全范围，则运行轨迹规划，控制主手进行姿态匹配，即进行主操作手的调整，若否，则提示操作者注意手臂位置，并继续检测。

进一步，服务器可以检测轨迹规划是否结束，直至轨迹规划结束，停止检测。

应该理解的是，虽然图7和图13的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图7和图13中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种医生控制台的控制装置，医生控制台包含多个显示装置和主控部件，主控部件用于根据主从映射关系控制手术机器人。具体地可以参见前文所述。

在本实施例中，如图14所示，医生控制台的控制装置可以包括：检测模块141、调整模块142以及控制模块143，其中：

检测模块141，用于检测操作者在多个显示装置中所选择的主显示装置。

调整模块142，用于根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系。

控制模块143，用于根据操作映射转换关系，藉由主控部件控制手术机器人执行操作。

在其中一个实施例中，检测模块141，可以包括：

获取子模块，用于获取检测图像，其中，检测图像包含操作者与至少一个显示装置。

识别子模块，用于识别检测图像中反映操作者的头部与各显示装置之间的第一图像位置关系。

确定子模块，用于基于第一图像位置关系，确定主显示装置。

在其中一个实施例中，上述装置还可以包括：

识别模块，用于识别检测图像中反映同一操作者的手部与主控部件之间的第二图像位置关系。

在本实施例中，确定子模块用于结合第一图像位置关系和第二图像位置关系，确定主显示装置。

在其中一个实施例中，检测模块141用于通过检测用于提示主显示装置的确认选项的动作，确定操作者所使用的主显示装置。

在其中一个实施例中，调整模块142用于根据所检测到操作者更换前后的两个主显示装置之间的显示位姿变化，调整操作映射转换关系。

在其中一个实施例中，调整模块142，可以包括：

显示位姿变化显示子模块，用于检测操作者操作所选择的主显示装置而引起该主显示装置的显示位姿变化。

调整子模块，用于根据显示位姿变化，调整操作映射转换关系。

在其中一个实施例中，控制模块用于根据操作映射转换关系，调整主控部件的姿态，以使得在手术机器人位姿不变的情况下，主显示装置所显示的手术机器人的操作末端的姿态对应于调整后的主控部件的姿态。

在其中一个实施例中，上述装置还可以包括：

操作者位姿获取模块，用于获取操作者位姿，操作者位姿用于判定操作者是否位于安全位置。

切换控制模块，用于当操作者位于安全位置时，基于显示装置模式切换指令控制多个显示装置进行模式切换。

在其中一个实施例中，切换控制模块用于基于显示装置模式切换指令，控制多个显示装置从第一显示模式切换至第二显示模式。

关于医生控制台的控制装置的具体限定可以参见上文中对于医生控制台的控制方法的限定，在此不再赘述。上述医生控制台的控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储显示位姿、操作映射转换关系以及调整数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医生控制台的控制方法。

本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：检测操作者在多个显示装置中所选择的主显示装置；根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系；根据操作映射转换关系，藉由主控部件控制手术机器人执行操作。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：检测操作者在多个显示装置中所选择的主显示装置；根据主显示装置的显示位姿，调整主控部件与手术机器人之间的操作映射转换关系；根据操作映射转换关系，藉由主控部件控制手术机器人执行操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种医生控制台的控制方法，其特征在于，所述医生控制台包含多个显示装置和主控部件，所述主控部件用于根据主从映射关系控制手术机器人，其中，所述控制方法包括：

检测操作者在多个显示装置中所选择的主显示装置；

根据所述主显示装置的显示位姿，调整所述主控部件与手术机器人之间的操作映射转换关系；

根据所述操作映射转换关系，藉由所述主控部件控制所述手术机器人执行操作。

2.根据权利要求1所述的方法，其特征在于，所述检测操作者在多个显示装置中所选择的主显示装置，包括：

获取检测图像，其中，所述检测图像包含操作者与至少一个显示装置；

识别所述检测图像中反映操作者的头部与各显示装置之间的第一图像位置关系；

基于所述第一图像位置关系，确定主显示装置。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

识别所述检测图像中反映同一操作者的手部与主控部件之间的第二图像位置关系；

所述基于所述第一图像位置关系，确定主显示装置，包括：

结合所述第一图像位置关系和所述第二图像位置关系，确定主显示装置。

4.根据权利要求1所述的方法，其特征在于，所述检测操作者在多个显示装置中所选择的主显示装置，包括：

通过检测用于提示主显示装置的确认选项的动作，确定所述操作者所使用的主显示装置。

5.根据权利要求1所述的方法，其特征在于，所述根据所述主显示装置的显示位姿，调整所述主控部件与手术机器人之间的操作映射转换关系，包括：

根据所检测到操作者更换前后的两个主显示装置之间的显示位姿变化，调整所述操作映射转换关系。

6.根据权利要求1所述的方法，其特征在于，所述根据所述主显示装置的显示位姿，调整所述主控部件与手术机器人之间的操作映射转换关系，包括：

检测操作者操作所选择的主显示装置而引起该主显示装置的显示位姿变化；

根据所述显示位姿变化，调整所述操作映射转换关系。

7.根据权利要求1所述的方法，其特征在于，所述根据所述操作映射转换关系，藉由所述主控部件控制所述手术机器人执行操作，包括：

根据所述操作映射转换关系，调整所述主控部件的姿态，以使得在所述手术机器人位姿不变的情况下，所述主显示装置所显示的所述手术机器人的操作末端的姿态对应于调整后的所述主控部件的姿态。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取操作者位姿，所述操作者位姿用于判定所述操作者是否位于安全位置；

当所述操作者位于安全位置时，基于显示装置模式切换指令控制所述多个显示装置进行模式切换。

9.根据权利要求8所述的方法，其特征在于，所述基于显示装置模式切换指令控制所述多个显示装置进行模式切换，包括：

基于显示装置模式切换指令，控制所述多个显示装置从第一显示模式切换至第二显示模式。

10.一种医生控制台，其特征在于，所述医生控制台包括：存储器、处理器、多个显示装置以及主控部件；

所述多个显示装置用于对手术机器人的动作进行显示；

所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1～9中任一项所述方法的步骤，调整所述主控部件与所述手术机器人之间的操作映射转换关系；

所述主控部件用于根据所述操作映射转换关系，控制所述手术机器人执行操作。

11.根据权利要求10所述的医生控制台，其特征在于，所述多个显示装置包括AR眼镜和显示屏中的至少一种。

12.根据权利要求11所述的医生控制台，其特征在于，所述AR眼镜提供反映显示位姿的位姿数据。

13.根据权利要求10所述的医生控制台，其特征在于，所述多个显示装置包括第一显示装置以及第二显示装置；

所述第一显示装置能够基于模式切换指令从第一位置切换至第二位置；

所述第二显示装置能够基于模式切换指令从第三位置切换至第四位置。

14.一种机器人系统，其特征在于，所述系统包括：手术机器人以及权利要求10～13中任一项所述的医生控制台；

所述医生控制台用于生成机器人控制指令；

所述手术机器人用于基于所述机器人控制指令执行操作。

15.根据权利要求14所述的系统，其特征在于，所述手术机器人包括至少一个机械臂，各所述机械臂上装载有手术器械。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～9中任一项所述的方法的步骤。

Images