CN114536330A - 基于多个位姿标识确定可形变机械臂的外部受力的方法及机器人系统 - Google Patents

基于多个位姿标识确定可形变机械臂的外部受力的方法及机器人系统 Download PDF

Info

Publication number
CN114536330A
CN114536330A CN202210141436.7A CN202210141436A CN114536330A CN 114536330 A CN114536330 A CN 114536330A CN 202210141436 A CN202210141436 A CN 202210141436A CN 114536330 A CN114536330 A CN 114536330A
Authority
CN
China
Prior art keywords
pose
mechanical arm
deformable
deformable mechanical
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210141436.7A
Other languages
English (en)
Other versions
CN114536330B (zh
Inventor
孙大为
朱兰
徐凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Surgerii Technology Co Ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Beijing Surgerii Technology Co Ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Surgerii Technology Co Ltd, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Beijing Surgerii Technology Co Ltd
Priority to CN202210141436.7A priority Critical patent/CN114536330B/zh
Publication of CN114536330A publication Critical patent/CN114536330A/zh
Application granted granted Critical
Publication of CN114536330B publication Critical patent/CN114536330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B25J18/005—Arms having a curved shape
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本公开涉及机械臂领域，公开一种确定可形变机械臂的外部受力的方法。该方法包括：获取定位图像；在定位图像中，识别位于可形变机械臂的末端上的多个位姿标识，多个位姿标识包括不同的位姿标识图案，可形变机械臂包括至少一根结构骨、固定盘以及至少一个间隔盘，至少一根结构骨穿过至少一个间隔盘并且末端与固定盘固定连接；基于多个位姿标识，获得可形变机械臂的末端相对参考坐标系的位姿；获得可形变机械臂的至少一根结构骨的驱动信息；以及基于所获得的位姿、至少一根结构骨的驱动信息及可形变机械臂的力学模型，确定可形变机械臂的外部受力，其中，力学模型基于至少一根结构骨在可形变机械臂的横截面上的分布以及至少一根结构骨的物理特性。

Description

基于多个位姿标识确定可形变机械臂的外部受力的方法及机 器人系统
技术领域
本公开属于机械臂领域，尤其涉及一种基于多个位姿标识确定可形变机械臂的外部受力的方法及机器人系统。
背景技术
可形变机械臂可以广泛用于地表、地下、水下、太空和生物体内等多种环境。在执行作业时，操作者需要获取可形变机械臂所受到的外部作用力，以根据可形变机械臂所受到的外部受力进行操作。
通常，可以在可形变机械臂的末端安装力传感器，根据力传感器测量可形变机械臂的外部受力，并将可形变机械臂的外部受力反馈给操作者，指引操作者进行操作。
然而，在可形变机械臂的末端安装力传感器来测量可形变机械臂的外部受力至少存在以下技术问题：1)集成困难。力传感器占用空间较大，且需要使用线缆传输信号，而可形变机械臂及其末端设置的执行器等器械结构复杂、紧凑，在设计的过程中难以留出力传感器的集成空间。2)成本较高。可形变机械臂末端设置的执行器存在多次使用后性能下降而需要丢弃或回收的状况，而力传感器价格较高，因此难以广泛应用。3)布置灵活度较差。力传感器只能测量其所安装位置处的外部作用力，即使根据可形变机械臂的受力情况布置传感器，也难以或者无法覆盖整个执行器上的外部作用力。4)兼容性较差。使用力传感器会造成污染、电磁兼容等问题。
因此，需要提供一种能够满足实际需求的获取可形变机械臂的外部受力的方法，以辅助操作者的操作，提高操作的准确性并降低操作的成本。
发明内容
在一些实施例中，本公开提供了一种确定可形变机械臂的外部受力的方法。该方法可以包括：获取定位图像；在定位图像中，识别位于可形变机械臂的末端上的多个位姿标识，多个位姿标识包括不同的位姿标识图案，可形变机械臂包括至少一根结构骨、固定盘以及至少一个间隔盘，至少一根结构骨穿过至少一个间隔盘并且末端与固定盘固定连接；基于多个位姿标识，获得可形变机械臂的末端相对参考坐标系的位姿；获得可形变机械臂的至少一根结构骨的驱动信息；以及基于所获得的位姿、至少一根结构骨的驱动信息及可形变机械臂的力学模型，确定可形变机械臂的外部受力，其中，力学模型基于可形变机械臂的至少一根结构骨在可形变机械臂的横截面上的分布以及至少一根结构骨的物理特性。
在一些实施例中，本公开提供了一种计算机设备，包括：存储器，用于存储至少一条指令；以及处理器，与存储器耦合，用于执行至少一条指令以执行本公开一些实施例中任一项的方法。
在一些实施例中，本公开提供了一种计算机可读存储介质，用于存储至少一条指令，至少一条指令由计算机执行时致使计算机执行本公开一些实施例中任一项的方法。
在一些实施例中，本公开提供了一种机器人系统，包括：至少一个可形变机械臂，该可形变机械臂包括至少一根结构骨、固定盘、至少一个间隔盘以及设置在可形变机械臂的末端上的多个位姿标识，多个位姿标识包括不同的位姿标识图案，至少一根结构骨穿过至少一个间隔盘并且末端与固定盘固定连接；以及图像采集设备，用于采集可形变机械臂的定位图像；控制装置，被配置为与图像采集设备连接，执行本公开一些实施例中任一项的方法，以确定可形变机械臂的外部受力。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面对本公开实施例描述中所需要使用的附图作简单的介绍。以下附图仅仅示出本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本公开实施例的内容和这些附图获得其他的实施例。
图1示出了根据本公开一些实施例的确定可形变机械臂的外部受力的方法的流程图；
图2示出了根据本公开一些实施例的机器人系统的结构示意图；
图3示出了根据本公开一些实施例的可形变机械臂的示意图；
图4示出了根据本公开一些实施例的测量可形变机械臂末端的位姿的系统的示意图；
图5示出根据本公开一些实施例的包括多个位姿标识的标签示意图；
图6示出设置在可形变机械臂末端周侧并形成的圆筒形的标签的示意图；
图7示出根据本公开一些实施例的确定多个位姿标识相对可形变机械臂的末端坐标系的三维坐标的方法的流程图；
图8示出根据本公开另一些实施例的确定多个位姿标识相对可形变机械臂的末端坐标系的三维坐标的方法的流程图；
图9示出根据本公开一些实施例的识别位姿标识的方法的流程图；
图10示出根据本公开一些实施例的位姿标识图案的示意图；
图11示出根据本公开一些实施例的用于搜索位姿标识的方法的流程图；
图12示出根据本公开一些实施例的搜索位姿标识的示意图；
图13示出根据本公开一些实施例的用于搜索第二位姿标识的方法的流程图；
图14示出根据本公开一些实施例的用于搜索位姿标识的方法的流程图；
图15示出了根据本公开一些实施例的可形变机械臂在受到驱动时的形变示意图；
图16示出了根据本公开一些实施例的可形变机械臂在受到驱动以及外部作用力时的形变示意图；
图17示出了根据本公开一些实施例的可形变机械臂的受力示意图；
图18示出了根据本公开一些实施例的可形变机械臂坐标系及参考坐标系示意图；
图19示出根据本公开一些实施例的计算机设备的示意框图；
图20示出根据本公开一些实施例的机器人系统的示意图。
具体实施方式
为使本公开解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本公开实施例的技术方案作进一步的详细描述，显然，所描述的实施例应视为在所有方面都是示例性的而非限制性的，仅仅是本公开示例性实施例，而不是全部的实施例。
在本公开的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明公开的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“耦合”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连；可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明公开中的具体含义。在本发明公开中，定义靠近操作者的一端为近端、近部或后端、后部，靠近作业对象的一端为远端、末端、远部或前端、前部。本领域技术人员可以理解，本公开的实施例可以适用于包括但不限于在地表、地下、水下、太空和生物体内等多种环境中作业的机械装置上设置的可形变机械臂。
在本公开中，术语“位置”指物体或物体的一部分在三维空间中的定位(例如，可使用笛卡尔X、Y和Z坐标方面的变化描述三个平移自由度，例如分别沿笛卡尔X轴、Y轴和Z轴的三个平移自由度)。在本公开中，术语“姿态”指物体或物体的一部分的旋转设置(例如三个旋转自由度，可使用滚转、俯仰和偏转来描述这三个旋转自由度)。在本公开中，术语“位姿”指物体或物体的一部分的位置和姿态的组合，例如可使用以上提到的六个自由度中的六个参数来描述。
在本公开中，参考坐标系可以理解为能够描述物体位姿的坐标系。根据实际的定位需求，参考坐标系可以选择以虚拟参照物的原点或实体参照物的原点为坐标系原点。在一些实施例中，参考坐标系可以为世界坐标系或者相机坐标系或者操作人员自身的感知坐标系等。其中，相机坐标系可以指图像采集设备所在的坐标系。
在本公开中，物体可以理解为需要被定位的对象或目标，例如可形变机械臂或者可形变机械臂的末端。可形变机械臂或其一部分(例如末端)的位姿可以是指可形变机械臂或其一部分定义的坐标系相对于参考坐标系的位姿。
图1示出根据本公开一些实施例的确定可形变机械臂的外部受力的方法100(以下也简称“方法100”)的流程图。方法100可以由硬件、软件或者固件实现或执行。在一些实施例中，方法100可以由机器人系统(例如，图2所示的机器人系统200，或图20所示的机器人系统2000)执行。在一些实施例中，方法100可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图2所示的控制装置220，图4所示的控制装置420，或图20所示的处理器2020)读取并执行。例如，用于机器人系统的控制装置可以包括处理器，被配置为执行方法100。在一些实施例中，这些指令可以存储在计算机可读介质上。
图2示出根据本公开一些实施例的机器人系统200的结构示意图。在一些实施例中，如图2所示，机器人系统200可以包括主控台车210、从动台车230及控制装置220。控制装置220可以与主控台车210和从动台车230通信连接，例如可通过线缆连接、也可以通过无线连接，以实现与主控台车210和从动台车230之间的通信。主控台车210包括供操作者遥操作的主操作器，以及用于显示操作区域的图像的显示器。从动台车230包括用于执行作业的从动工具，从动工具包括可形变机械臂和设置在可形变机械臂末端的末端器械(例如，执行器)。通过控制装置220实现主控台车210中的主操作器与从动台车230中的从动工具之间的主从映射，实现主操作器对从动工具的运动控制。在一些实施例中，从动工具被设置成能够通过管套、鞘套等进入操作区域，且在操作区域与待操作对象(例如，工件、人体组织等)接触并产生作用力。其中，管套、鞘套可以固定在墙体壁面、动物躯体等上形成开口(例如人工开口或自然开口)处，操作区域可以是进行作业的区域。从动工具的末端器械可以包括但不限于挖掘器械、水下作业器械、手术器械等。本领域技术人员可以理解，主控台车210和从动台车230可以采用其他结构或者形式，例如基座、支架或建筑物等。
图3示出根据本公开一些实施例的可形变机械臂300的示意图。参见图3，可形变机械臂包括一根或多根结构骨310、固定盘330以及至少一个间隔盘320。结构骨310穿过至少一个间隔盘320并且末端与固定盘330固定连接。间隔盘320、固定盘330在结构骨310的轴向上间隔布置。间隔盘320上设置有可供结构骨310穿过的通孔3201，固定盘330上设置有可以用于固定结构骨310的固定孔3301。结构骨310的末端可以与固定盘330连接，结构骨310的近端可以与驱动机构连接。当结构骨310受到驱动机构的驱动时，结构骨310可以沿着通孔3201运动。当可形变机械臂受到外部作用力时，结构骨310可以沿着通孔3201运动。在一些实施例中，至少一个间隔盘320可以形成连续结构，例如波纹管。在一些实施例中，可形变机械臂300外部可以包裹有包覆层或者封皮。
在一些实施例中，结构骨310的数量为一个或者多个，均匀或者非均匀地分布在间隔盘的截面上，例如位于中心位置或者沿周向分布。在一些实施例中，间隔盘320的数量为一个或者多个。间隔盘320的截面上可以开设有一个或者多个通孔3201，且通孔3201的形状与结构骨截面的形状匹配或者基本匹配，以使得结构骨310可以穿过通孔3201。在一些实施例中，间隔盘320截面上开设的通孔3201的数量与结构骨310的数量一致，这样，每一个通孔3201中都可穿过一个结构骨310。在一些实施例中，间隔盘320的截面形状为圆形，间隔盘上的通孔3201为圆孔，结构骨310的截面为圆形。在其他实施例中，间隔盘320的截面形状为矩形，间隔盘上的通孔为多边形孔，结构骨的截面为多边形等。
在一些实施例中，可形变机械臂中的结构骨可以由弹性材料构成，具有一定的柔性。例如，结构骨的材料可以是超弹性合金、气/液腔、记忆合金、高分子结构材料等，例如镍钛合金。基于结构骨的弹性性质，当受到外部作用力和/或驱动机构的驱动作用(例如，推拉作用)时，可形变机械臂可以发生形变。例如，可形变机械臂的形状变化可以表现为弯曲形变、伸缩形变或者扭曲形变等。当可形变机械臂发生形变时，其位姿(例如末端的位姿)会发生变化。可形变机械臂的位姿反应了可形变机械臂受到的驱动信息和外部受力，故而在已知可形变机械臂的位姿和驱动信息的情况下，可以计算可形变机械臂所受到的外部作用力。
本公开的一些实施例提供了一种确定可形变机械臂的外部受力的方法。图1是根据本公开一些实施例的确定可形变机械臂的外部受力的方法100的流程图。如图1所示，方法100可以包括获得可形变机械臂的图像，并且对所获得的图像进行分析，以确定可形变机械臂的末端的位姿。例如，可以在可形变机械臂的末端上设置具有定位标识的定位标签，通过处理定位标签的图像，获得可形变机械臂的末端的位姿。方法100还可以包括获得可形变机械臂的结构骨的驱动信息，并基于所获得的可形变机械臂的末端的位姿、结构骨的驱动信息及可形变机械臂的力学模型，确定可形变机械臂的外部受力，具体内容后述。下面首先详细说明如何确定可形变机械臂的末端的位姿。
图4示出了根据本公开一些实施例的测量可形变机械臂末端的位姿的系统400的示意图。如图4所示，系统400可以包括控制装置420、图像采集设备440、以及至少一个可形变机械臂450。图像采集设备440可以与控制装置420通信连接。在一些实施例中，控制装置420可以与至少一个可形变机械臂450的驱动装置通信连接，用于控制至少一个可形变机械臂450的运动，以调整至少一个可形变机械臂450的位姿、相互协调等。在一些实施例中，可形变机械臂450可以由例如图3所示的可形变机械臂实现。在一些实施例中，至少一个可形变机械臂450在末端或远端处可以包括可形变机械臂末端451，可形变机械臂末端451上可以设置有末端器械460。控制装置420可以控制至少一个可形变机械臂450运动，以使可形变机械臂末端451运动至期望的位置和姿态。本领域技术人员应理解，系统400可以应用于多个领域(例如，医疗、工业制造等等)的专用或通用机器人系统。作为一个示例，系统400可以应用于例如手术机器人等机器人系统，可形变机械臂末端451的远端处设置的末端器械460例如可以是手术执行器。
在一些实施例中，图像采集设备440可以用于采集定位图像，图像采集设备440可以包括但不限于双镜头图像采集设备或单镜头图像采集设备，例如双目或单目相机。定位图像中可以包括可形变机械臂450的部分或全部的图像。在一些实施例中，图像采集设备440可以用于采集可形变机械臂末端451的图像。可形变机械臂末端451上可以设置有多个不同的位姿标识，这些位姿标识包括不同的位姿标识图案。例如，可形变机械臂末端451上可以设置有定位标签452(定位标签452例如可以是图5所示的标签500)。定位标签452可以包括多个位姿标识，多个位姿标识包括不同的位姿标识图案(如下详述)。
如图4所示，可形变机械臂末端451处于图像采集设备440的观测视野441之内，则采集的定位图像中可以包括可形变机械臂末端451的图像。根据不同的应用场景，图像采集设备440可以是工业相机、水下相机、微型电子相机、内窥镜相机等。在一些实施例中，图像采集设备440可以是位置固定的或者位置变化的，例如，固定在监控位置的工业相机或者位置或姿态可调节的内窥镜相机。在一些实施例中，图像采集设备440可以实现可见光波段成像、红外波段成像、CT(Computed Tomography，电子计算机断层扫描)成像和声波成像等中的至少一种。根据采集的图像的种类不同，本领域技术人员可以选择不同的图像采集设备作为图像采集设备440。
在一些实施例中，控制装置420可以接收来自图像采集设备440的定位图像，并且对定位图像进行处理。例如，控制装置420可以在定位图像中，识别位于可形变机械臂末端451上的多个位姿标识，并且确定可形变机械臂末端451相对参考坐标系(例如世界坐标系)的位姿。
在一些实施例中，可形变机械臂上(例如，可形变机械臂末端451上)分布有多个位姿标识。在一些实施例中，多个位姿标识设置在可形变机械臂450的柱状部分的外表面上。例如，多个位姿标识沿周向分布在可形变机械臂末端451上，例如沿周向设置在可形变机械臂末端451的柱状部分的外表面上。在一些实施例中，可形变机械臂末端451的柱状部分的外表面上设置有包括多个位姿标识的定位标签452，多个位姿标识包括沿柱状部分的周向分布在定位标签上的多个不同的位姿标识图案以及在位姿标识图案中的位姿标识图案角点。
在一些实施例中，位姿标识可以包括位姿标识图案和在位姿标识图案中的位姿标识图案角点。在一些实施例中，位姿标识图案可以设置在可形变机械臂末端上的标签上，或者可以印刷在可形变机械臂末端上，或者可以是由可形变机械臂末端自身的物理构造形成的图案，例如，可以包括凹陷或凸起及其组合。在一些实施例中，位姿标识图案可以包括以亮度、灰度、色彩等形成的图案。在一些实施例中，位姿标识图案可以包括主动(例如，自发光)或被动(例如，反射光线)提供被图像采集设备探测的信息的图案。本领域技术人员可以理解，在一些实施例中，位姿标识的位姿或者位姿标识图案的位姿可以由位姿标识图案角点坐标系的位姿来表示。在一些实施例中，位姿标识图案设置在可形变机械臂末端上适于被图像采集设备采集图像的区域，例如，在工作过程中可以被图像采集设备的视场覆盖的区域或者在工作过程中不容易被干扰或遮挡的区域。
图5示出根据一些实施例的包括多个位姿标识的标签500的示意图。图6示出设置在可形变机械臂末端周侧并形成圆筒形的标签600的示意图。可以理解，简单起见，标签500可以与标签600包括相同的位姿标识图案。
参看图5，多个位姿标识可以包括多个不同的位姿标识图案510。多个位姿标识还可以包括在多个不同的位姿标识图案510中的多个位姿标识图案角点P5，在本公开中以“〇”符号表示位姿标识图案角点。在一些实施例中，可以通过识别位姿标识图案510或其中的位姿标识图案角点P5确定位姿标识。
参看图6，在周向设置状态下，标签500变为空间构造为圆筒形的标签600。在一些实施例中，位姿标识的绕轴角度或者滚转角可以通过位姿标识图案或位姿标识图案角点的绕轴角度表示。每个位姿标识图案或位姿标识图案角点标识的绕轴角度是已知的或预先确定的。在一些实施例中，基于多个位姿标识(例如位姿标识图案或位姿标识图案角点)的分布，可以确定每个位姿标识所标识的绕轴角度。在一些实施例中，多个位姿标识可以均匀分布(例如，标签500中的位姿标识图案角点等间距分布，标签600中的位姿标识图案角点等分布角分布)。另一些实施例中，多个位姿标识可以非均匀分布。在一些实施例中，基于多个位姿标识的分布，每个位姿标识图案可以用于标识特定的绕轴角度，每个位姿标识图案与所标识的绕轴角度具有一一对应关系。在本公开中，绕轴角度或者滚转角是指绕Z轴(例如，可形变机械臂的末端坐标系{wm}的Z轴)的角度。在一些实施例中，Z轴可以是沿可形变机械臂末端的切线方向。
如图6所示，标签600中多个不同的位姿标识图案610沿圆柱形结构周向均匀分布，多个位姿标识图案角点均匀分布在可形变机械臂的末端坐标系{wm}的XY平面的截面圆620上，则任意相邻的位姿标识图案角点的分布角(例如，角度α0)相等。设定X轴指向的位姿标识图案角点P6，P6作为标识0°绕轴角度的参照角点(位姿标识图案角点P6所在的位姿标识图案作为参照图案)，则可以根据任意位姿标识图案角点与位姿标识图案角点P6的位置关系确定该位姿标识图案角点标识的绕轴角度。在一些实施例中，位姿标识图案角点标识的绕轴角度可以基于以下公式(1)确定：
αm＝α0(m-1) (1)
其中，αm为以位姿标识图案角点P6作为第一个位姿标识图案角点，按照截面圆620的顺时针方向，第m个位姿标识图案角点的绕轴角度。
参看图1，在方法100的步骤101，获取定位图像。在一些实施例中，定位图像中包含可形变机械臂的末端上的多个位姿标识。在一些实施例中，可以从如图4所示的图像采集设备440接收定位图像。例如，控制装置420可以接收图像采集设备440主动发送的定位图像。或者，控制装置420可以向图像采集设备440发送图像请求指令，图像采集设备440响应图像请求指令向控制装置420发送定位图像。
继续参看图1，在步骤103，在定位图像中，识别位于可形变机械臂的末端上的多个位姿标识，多个位姿标识包括不同的位姿标识图案。例如，识别位于可形变机械臂的末端上的多个位姿标识的示例性方法可以包括如图9、图11、图13和图14所示的方法。在一些实施例中，控制装置420可以通过图像处理算法识别定位图像中的部分或全部的位姿标识。在一些实施例中，图像处理算法可以包括特征识别算法，图像处理算法可以提取或识别位姿标识的特征。例如，图像处理算法可以包括角点检测算法，用于检测位姿标识图案角点。该角点检测算法可以是包括但不限于基于灰度图的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测中的一种。例如，图像处理算法可以是颜色特征提取算法，用于检测位姿标识图案中的颜色特征。再例如，图像处理算法可以是轮廓检测算法，用于检测位姿标识图案的轮廓特征。在一些实施例中，控制装置可以通过识别模型识别定位图像中的部分或全部的位姿标识。
继续参看图1，在步骤105，基于多个位姿标识，确定可形变机械臂的末端相对参考坐标系的位姿。在一些实施例中，方法100还包括：确定多个位姿标识在定位图像中的二维坐标；以及基于多个位姿标识在定位图像中的二维坐标和多个位姿标识相对可形变机械臂的末端坐标系的三维坐标，确定可形变机械臂的末端相对参考坐标系的位姿。在一些实施例中，位姿标识的坐标可以通过位姿标识图案角点的坐标表示。例如，位姿标识在定位图像中的二维坐标和在可形变机械臂的末端坐标系中的三维坐标可以通过位姿标识图案角点的坐标表示。在一些实施例中，可以基于多个位姿标识图案角点在定位图像中的二维坐标和在可形变机械臂的末端坐标系中的三维坐标，确定可形变机械臂的末端坐标系相对参考坐标系的位姿作为可形变机械臂的末端相对参考坐标系的位姿。
在一些实施例中，方法100还可以包括：基于多个位姿标识图案角点在定位图像中的二维坐标、多个位姿标识图案角点在可形变机械臂的末端坐标系中的三维坐标和相机坐标系相对参考坐标系的变换关系，确定可形变机械臂的末端坐标系相对参考坐标系的位姿。在一些实施例中，相机坐标系相对参考坐标系的变换关系可以是已知的。例如，参考坐标系为世界坐标系，相机坐标系相对世界坐标系的变换关系可以根据相机摆放的位姿确定。另一些实施例中，根据实际的需求，参考坐标系也可以是相机坐标系本身。在一些实施例中，基于相机成像原理与投影模型，基于多个位姿标识图案角点在定位图像中的二维坐标和多个位姿标识图案角点在可形变机械臂的末端坐标系中的三维坐标，确定可形变机械臂的末端坐标系相对相机坐标系的位姿。基于可形变机械臂的末端坐标系相对相机坐标系的位姿和相机坐标系相对参考坐标系的变换关系，可以得到可形变机械臂的末端坐标系相对参考坐标系的位姿。在一些实施例中，还可以考虑相机的内参。例如，相机的内参可以是如图4所示的图像采集设备440的相机内参。相机的内参可以是已知的或者经过标定而得到的。在一些实施例中，相机坐标系可以理解为以相机原点建立的坐标系。例如，以相机的光心为原点建立的坐标系或者以相机的镜头中心为原点建立的坐标系。当相机为双目相机时，相机坐标系的原点可以是相机左镜头的中心，或者右镜头的中心，或者左右镜头中心连线上的任意一点(例如该连线的中点)。
在一些实施例中，可形变机械臂的末端坐标系{wm}相对参考坐标系(例如，世界坐标系)的位姿可以基于以下公式(2)确定：
Figure BDA0003506545720000081
其中，wRwm为可形变机械臂的末端坐标系相对世界坐标系的姿态，wPwm为可形变机械臂的末端坐标系相对世界坐标系的位置，wRlens为相机坐标系相对世界坐标系的姿态，wPlens为相机坐标系相对世界坐标系的位置，lensRwm为可形变机械臂的末端坐标系相对相机坐标系的姿态，lensPwm为可形变机械臂的末端坐标系相对相机坐标系的位置。
本公开一些实施例提供了确定多个位姿标识相对可形变机械臂的末端坐标系的三维坐标的方法。在一些实施例中，基于多个位姿标识的分布，确定多个位姿标识相对可形变机械臂的末端坐标系的三维坐标。例如，基于多个位姿标识图案角点的分布，确定多个位姿标识图案角点在可形变机械臂的末端坐标系中的三维坐标。
图7示出根据本公开一些实施例的确定多个位姿标识相对可形变机械臂的末端坐标系的三维坐标的方法700的流程图。方法700中的部分或全部步骤可以由机器人系统200或系统400的控制装置(例如图2所示的控制装置220，或图4所示的控制装置420)来执行。控制装置可以包括计算设备。方法700可以由软件、固件和/或硬件来实现。在一些实施例中，方法700可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图20所示的处理器2020)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。
参看图7，在步骤701，基于多个位姿标识的分布，确定多个位姿标识相对可形变机械臂的末端坐标系的Z轴的绕轴角度。在一些实施例中，可以基于多个位姿标识图案，确定多个位姿标识相对可形变机械臂的末端坐标系的Z轴的绕轴角度。例如，每个位姿标识图案可以标识特定的绕轴角度，不同的位姿标识图案与所标识的绕轴角度一一对应。基于识别出位姿标识图案以及位姿标识图案与绕轴角度的对应关系，可以确定被识别出的位姿标识图案所标识的绕轴角度。应理解，每个位姿标识图案的分布是已知的或预先确定的。在一些实施例中，多个位姿标识图案或者多个位姿标识图案角点的分布可以是如图5所示的分布。在一些实施例中，每个位姿标识图案角点标识的绕轴角度还可以基于公式(1)确定。
参看图7，在步骤703，基于多个位姿标识的绕轴角度，确定多个位姿标识相对可形变机械臂的末端坐标系的三维坐标。在一些实施例中，如图6所示，每个位姿标识图案角点均位于在截面圆620的圆周上，截面圆620的圆心与半径r均是已知的。以位姿标识图案角点P6作为参照角点，位姿标识图案角点P6在可形变机械臂的末端坐标系{wm}的三维坐标为(r,0,0)。在一些实施例中，每个位姿标识图案角点在可形变机械臂的末端坐标系{wm}中的三维坐标可以基于以下公式(3)确定：
Cm＝[r·cosαm r·sinαm 0]T (3)
其中，Cm为以位姿标识图案角点P6作为第一个位姿标识图案角点，按照截面圆620的顺时针方向，第m个位姿标识图案角点标识的特定的绕轴角度可以基于多个位姿标识在可形变机械臂的末端坐标系{wm}中的三维坐标。
在一些实施例中，基于公式(1)确定第m个位姿标识图案角点标识的绕轴角度αm，之后基于公式(1)确定的绕轴角度αm和公式(3)确定三维坐标Cm。
图8示出根据本公开另一些实施例的确定多个位姿标识相对可形变机械臂的末端坐标系的三维坐标的方法800的流程图。方法800可以是方法700的替换实施例。方法800中的部分或全部步骤可以由机器人系统200或系统400的控制装置(例如图2所示的控制装置220或图4所示的控制装置420)来执行。控制装置可以包括计算设备。方法800可以由软件、固件和/或硬件来实现。在一些实施例中，方法800可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图20所示的处理器2020)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。
参看图8，在步骤801，基于多个位姿标识中的至少两个，确定多个位姿标识的排布顺序。在一些实施例中，多个位姿标识的排布顺序可以通过多个位姿标识图案的排布顺序表示。在一些实施例中，通过识别任意两个位姿标识图案确定多个位姿标识的排布顺序。应理解，多个位姿标识包括不同的位姿标识图案，在已知任意两个位姿标识图案的情况下，可以基于多个位姿标识图案已知的分布(例如，图5所示标签500中不同位姿标识图案的分布，或者图6所示标签600中不同位姿标识图案的分布)，确定定位图像中多个位姿标识的排布顺序，例如顺时针排布或逆时针排布。
参看图8，在步骤803，基于多个位姿标识的排布顺序，确定多个位姿标识的三维坐标。在一些实施例中，基于多个位姿标识已知的分布，可以确定每个位姿标识在可形变机械臂的末端坐标系中的三维坐标，每个位姿标识的三维坐标可以通过位姿标识图案角点在可形变机械臂的末端坐标系中的三维坐标表示，每个位姿标识图案对应可形变机械臂的末端坐标系中的一个坐标点。在确定多个位姿标识图案的排布顺序的之后，基于识别出的位姿标识图案可以确定其余的位姿标识图案，进而可以确定每个位姿标识图案在可形变机械臂的末端坐标系中的三维坐标。在一些实施例中，识别定位图像中的多个位姿标识角点，确定多个位姿标识角点中的任意两个对应的位姿标识图案。基于识别出的两个位姿标识图案确定多个位姿标识图案角点的排布顺序，进而可以确定每个位姿标识图案角点在可形变机械臂的末端坐标系中的三维坐标。此外，基于排布顺序，可以确定所有位姿标识图案的分布，从而以特定位姿图案匹配模板与定位图像上对应位置处的位姿标识图案进行匹配，提高了数据处理速度。在一些实施例中，位姿图案匹配模板与位姿标识图案角点处的图案匹配可以与方法900中的步骤903类似地实现。
本公开一些实施例提供了识别位姿标识的方法。图9示出根据本公开一些实施例的识别位姿标识的方法900的流程图。方法900中的部分或全部步骤可以由系统200或系统400的控制装置(例如图2所示的控制装置220或图4所示的控制装置420)来执行。控制装置可以包括计算设备。方法900可以由软件、固件和/或硬件来实现。在一些实施例中，方法900可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图20所示的处理器2020)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。
参考图9，在步骤901，从定位图像中确定多个候选位姿标识。在一些实施例中，位姿标识可以包括在位姿标识图案中的位姿标识图案角点。候选位姿标识的坐标或坐标系原点可以通过候选位姿标识图案角点表示。在一些实施例中，候选位姿标识图案角点可以是指经过对定位图像进行初步处理或者初步识别得到的可能的位姿标识图案角点。
在一些实施例中，方法900还可以包括在定位图像中确定感兴趣区域(Region ofInterest，ROI)。例如，可以先从定位图像中截取ROI，从ROI中确定多个候选位姿标识。其中，ROI可以是定位图像的全图像，也可以是部分区域。例如，可以基于上一帧图像(例如，上一图像处理周期的定位图像)确定的多个位姿标识图案角点一定范围内的区域截取当前帧的ROI。对非第一帧的定位图像，ROI可以为上一图像处理周期的多个位姿标识图案角点的坐标构成的虚点为中心的一定距离范围内的区域。一定距离范围可以是位姿标识图案角点平均间隔距离的固定倍数，例如两倍。应理解，预定倍数还可以是上一图像处理周期中多个候选位姿标识图案角点平均间隔距离的可变倍数。
在一些实施例中，方法900还可以包括确定定位图像中各像素点的角点似然值(Corner Likelihood,CL)。在一些实施例中，像素点的角点似然值可以是表征像素点作为特征点(例如，角点)的可能性的数值。在一些实施例中，在计算各像素点的角点似然值之前可以对定位图像进行预处理，之后确定预处理之后的图像中各像素点的角点似然值。图像的预处理例如可以包括：图像灰度化、图像去噪、图像增强中的至少一种。例如，图像预处理可以包括：从定位图像中截取ROI，将ROI转为相应的灰度图像。
在一些实施例中，确定ROI中的每个像素点的角点似然值的方式例如可以包括对ROI范围内每一个像素点进行卷积操作，得到每个像素点的一阶和/或二阶导数。利用ROI范围内每个像素点的一阶和/或二阶导数求出每个像素点的角点似然值。示例性地，各像素的角点似然值可以基于以下公式(4)确定：
Figure BDA0003506545720000101
其中，τ为设定的常数，例如设定为2；Ix、I45、Iy、In45分别是像素点在0、π/4、π/2、-π/4四个方向的一阶导数；Ixy和I45_45分别是像素点在0,π/2和π/4,-π/4方向的二阶导数。
在一些实施例中，方法900还可以包括将ROI划分成多个子区域。例如，可以采用非极大抑制法在一个ROI范围中平均分割出多个子图像。在一些实施例中，可以将ROI平均分割成5×5像素的多个子图像。上述实施例为示例性的，并非限制性的，应当理解，还可以将定位图像或ROI分割成其他尺寸大小的多个子图像，例如，分割成9×9像素的多个子图像。
在一些实施例中，方法900还可以包括确定每个子区域中角点似然值最大的像素以形成像素集合。在一些实施例中，像素集合作为从定位图像中确定的多个候选标识。例如，可以确定每个子图像中的CL值最大的像素点，将每个子图像中的CL值最大的像素点与第一阈值进行比较，确定CL值大于第一阈值的像素的集合。在一些实施例中，第一阈值可以设定为0.06。应当理解，第一阈值还可以设定为其他值。
参看图9，步骤903，基于多个不同的位姿图案匹配模板，从候选位姿标识中识别第一位姿标识。在一些实施例中，将多个不同的位姿图案匹配模板分别与候选位姿标识图案角点处的图案进行匹配，以识别第一位姿标识。例如，确定达到预设位姿图案匹配度标准的候选位姿标识图案角点为第一位姿标识图案角点。在一些实施例中，位姿图案匹配模板与位姿标识图案角点附近区域的图案具有相同或相似的特征。若位姿图案匹配模板与候选位姿标识图案角点附近区域的图案的匹配度达到预设位姿图案匹配度标准(例如，匹配度高于阈值)，则可以认为候选位姿标识图案角点附近区域的图案与位姿图案匹配模板具有相同或相似的特征，进而可认为当前的候选位姿标识图案角点为位姿标识图案角点。
在一些实施例中，确定像素集合中CL值最大的像素点，作为候选位姿标识图案角点。例如，可以将该像素集合中的所有像素按CL值从大到小的顺序排序，并将CL值最大的像素作为候选位姿标识图案角点。在一些实施例中，在确定了候选位姿标识图案角点之后，将位姿图案匹配模板与候选位姿标识图案角点处的图案进行匹配，如果达到了预设位姿图案匹配度标准，则确定候选位姿标识图案角点为识别出的第一位姿标识图案角点。
在一些实施例中，方法900还可以包括响应于匹配失败，确定像素集合中剩余像素的角点似然值最大的像素作为候选位姿标识图案角点。例如，如果候选位姿标识图案角点未达到预设的匹配度标准，则选择次级CL值的像素点(CL值第二大的像素点)作为候选位姿标识图案角点，将位姿图案匹配模板与该候选位姿标识图案角点处的图案进行匹配，依次类推，直至识别出第一位姿标识图案角点。
在一些实施例中，位姿标识图案可以为黑白相间的图形(例如，棋盘格图形)，因此位姿图案匹配模板可以为相同的图形，利用位姿图案匹配模板的灰度分布GM与候选位姿标识图案角点对应的像素点的像素邻域灰度分布Gimage间的相关性系数(CorrelationCoefficient,CC)来进行匹配。像素点的像素邻域灰度分布Gimage为以该像素点为中心一定范围内(例如，10×10像素)像的像素的灰度分布。相关性系数可以基于以下公式(5)确定：
Figure BDA0003506545720000111
其中，Var()为方差函数，Cov()为协方差函数。在一些实施例中，当相关性系数小于0.8时，像素领域内的灰度分布与位姿图案匹配模板相关性较低，则判定该角点似然值最大的候选位姿标识图案角点不是位姿标识图案角点，否则认为该角点似然值最大的候选位姿标识图案角点是位姿标识图案角点。
在一些实施例中，方法900还可以包括确定候选位姿标识图案角点的边缘方向。例如，如图10所示，候选位姿标识图案角点为位姿标识图案1000中的角点P10，角点P10的边缘方向可以是指形成角点P10的边缘的方向，如图10中虚线箭头示意的方向。
在一些实施例中，边缘方向可以通过对以候选位姿标识图案角点为中心的一定范围邻域(例如10×10像素)的每个像素在平面坐标系的X方向和Y方向的一阶导数值(Ix和Iy)确定。例如，边缘方向可以基于以下公式(6)进行计算：
Figure BDA0003506545720000112
其中，一阶导数(Ix和Iy)可以通过对一定范围邻域范围内每一个像素点进行卷积操作得到。一些实施例中，通过对每个范围邻域内的像素点的边缘方向Iangle和对应的权重Iweight进行聚类计算获得该像素点的边缘方向，选择权重Iweight占比最大的类对应的Iangle作为边缘方向。需要说明的是，如果存在多个边缘方向，则选择权重Iweight占比最大的多个类对应的Iangle作为边缘方向。
在一些实施例中，聚类计算所用的方法可以是K均值方法、BIRCH(BalancedIterative Reducing and Clustering using Hierarchies，基于层次结构的平衡迭代聚类方法)方法、DBSCAN(Density-Based Spatial Clustering of Applications withNoise，具有噪声的基于密度的聚类方法)方法、GMM(Gaussian Mixed Model，高斯混合模型)方法中的任意一种。
在一些实施例中，方法900还可以包括基于边缘方向旋转位姿图案匹配模板。根据边缘方向旋转位姿图案匹配模板，可以将位姿图案匹配模板与候选位姿标识图案角点处的图像对齐。候选位姿标识图案角点的边缘方向可以用于确定该候选标识图案角点处的图像在定位图像中的设置方向。在一些实施例中，根据边缘方向旋转位姿图案匹配模板，可以将位姿图案匹配模板调整至与候选位姿标识图案角点处的图像方向相同或接近相同以便于进行图像匹配。
参看图9，步骤905，以第一位姿标识作为起点，搜索位姿标识。例如，图11示出根据本公开一些实施例的用于搜索位姿标识的方法1100的流程图。如图11所示，该方法1100中的部分或全部步骤可以由数据处理装置(例如，图2所示的控制装置220，图4所示的控制装置420，或图20所示的处理器2020)来执行。方法1100中的部分或全部步骤可以由软件、固件和/或硬件来实现。在一些实施例中，方法1100可以由机器人系统(例如，图2所示的机器人系统200，或图20所示的机器人系统2000)执行。在一些实施例中，方法1100可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图20所示的处理器2020)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。
参看图11，在步骤1101，以第一位姿标识作为起点，搜索第二位姿标识。在一些实施例中，以第一位姿标识图案角点作为起点，在设定的搜索方向上搜索第二位姿标识图案角点。在一些实施例中，设定的搜索方向可以包括：第一位姿标识图案角点的正前方(对应0°角度方向)、正后方(对应120°角度方向)、正上方(90°角度方向)、正下方(-90°角度方向)和斜向(例如±45°角度方向)中的至少一个方向。
在一些实施例中，设定的搜索方向为n个，例如在8个方向进行搜索，每个搜索方向vsn可以基于以下公式(7)确定：
vsn＝[cos(n·π/4)sin(n·π/4)],(n＝1,2,…,8) (7)
在一些实施例中，当前步骤中设定的搜索方向可以根据上一帧确定的多个位姿标识图案角点中相邻位姿标识图案角点之间的偏差角度确定。示例性地，预定的搜索方向基于以下公式(8)确定：
Figure BDA0003506545720000131
其中，(xj,yj)为上一帧(或者上个图像处理周期)确定的多个位姿标识图案角点的二维坐标；nlast为上一帧确定的多个位姿标识图案角点的个数；vs1为第一个设定的搜索方向；vs2为第二个设定的搜索方向。
在一些实施例中，如图12所示，以第一位姿标识图案角点P1201的坐标位置作为搜索起点，在设定的搜索方向上搜索第二位姿标识图案角点P1202的坐标位置具体可以包括：以第一位姿标识图案角点P1201的坐标位置作为搜索起点，通过搜索框(例如，图12中的虚线框)以一定的搜索步长在设定的搜索方向V1201上搜索位姿标识图案角点。若搜索框内存在至少一个候选位姿标识图案角点，则优先选择搜索框内角点似然值最大的候选位姿标识图案角点为第二位姿标识图案角点P1202。在搜索框限制在合适的大小情况下，以第一位姿标识图案角点P1201的坐标位置作为搜索起点进行第二位姿标识图案角点P1202搜索时，搜索框内出现的候选位姿标识图案角点中角点似然值最大的候选位姿标识图案角点为位姿标识图案角点的可能性较大。因此，可以认为搜索框内角点似然值最大的候选位姿标识图案角点为第二位姿标识图案角点P1202，以便提高数据处理速度。其他实施方式中，为了提高位姿标识图案角点识别的准确度，选择搜索框内出现的候选位姿标识图案角点中角点似然值最大的候选位姿标识图案角点进行角点的识别，以确定该角点似然值最大的候选位姿标识图案角点是否为位姿标识图案角点。例如，将位姿图案匹配模板与该角点似然值最大的候选位姿标识图案角点处一定范围内的图像进行匹配，满足预设位姿图案匹配度标准的候选位姿标识图案角点可以认为是搜索到的第二位姿标识图案角点P1202。
在一些实施例中，继续参看图12，搜索框的大小可以逐步增大，从而搜索范围逐步增大。搜索步长可与搜索框的边长同步变化。其他实施方式中，搜索框的大小也可以为固定的大小。
在一些实施例中，位姿标识图案可以为黑白相间的棋盘格图形，可以基于公式(5)中的相关性系数来进行图案匹配。如果相关性系数大于阈值，则认为该角点似然值最大的候选位姿标识图案角点是位姿标识图案角点，记为第二位姿标识图案角点。
图13示出根据本公开一些实施例的用于搜索第二位姿标识的方法1300的流程图。如图13所示，该方法1300中的部分或全部步骤可以由数据处理装置(例如，图2所示的控制装置220，图4所示的控制装置420，或图20所示的处理器2020)来执行。方法1300中的部分或全部步骤可以由软件、固件和/或硬件来实现。在一些实施例中，方法1300可以由机器人系统(例如，图2所示的机器人系统200，或图20所示的机器人系统2000)执行。在一些实施例中，方法1300可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图20所示的处理器2020)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。在一些实施例中，方法1100中的步骤1101可以与方法1300类似地实现。
参看图13，在步骤1301，以第一位姿标识作为起点，搜索第二位姿标识的候选位姿标识图案角点。在一些实施例中，搜索第二位姿标识的候选位姿标识图案角点可以与图12所示搜索第二位姿标识图案角点P1202类似地实现。
在步骤1303，基于多个位姿标识的分布，确定第一位姿图案匹配模板和第二位姿图案匹配模板，第一位姿图案匹配模板和第二位姿图案匹配模板对应于与第一位姿标识相邻的位姿标识。在一些实施例中，步骤1303可以在步骤1301之前或者之后执行，步骤1303也可以与步骤1301同步执行。在一些实施例中，可以基于第一位姿标识包括的位姿标识图案以及多个位姿标识图案的分布，确定第一位姿标识相邻的位姿标识包括的位姿标识图案，进而确定第一位姿图案匹配模板和第二位姿图案匹配模板。
在步骤1305，将第一位姿图案匹配模板和/或第二位姿图案匹配模板与第二位姿标识的候选位姿标识图案角点位置处的图案进行匹配，以识别第二位姿标识。在一些实施例中，可以基于公式(5)中的相关性系数将第一位姿图案匹配模板和/或第二位姿图案匹配模板与第二位姿标识的候选位姿标识图案角点位置处的图案进行匹配。如果相关性系数大于阈值，则确定第二位姿标识的候选位姿标识图案角点作为第二位姿标识的位姿标识图案角点，并且确定相关性系数大于阈值的位姿图案匹配模板(第一位姿图案匹配模板或第二位姿图案匹配模板)对应的图案为第二位姿标识的位姿标识图案。
参看图11，在步骤1103，基于第一位姿标识、第二位姿标识，确定搜索方向。在一些实施例中，搜索方向包括：第一搜索方向和第二搜索方向。第一搜索方向可以是以第一位姿标识图案角点的坐标位置为起点，且远离第二位姿标识图案角点的方向。第二搜索方向可以是以第二位姿标识图案角点的坐标位置为起点，且远离第一位姿标识图案角点的方向。例如，图12中所示的搜索方向V1202。
参看图11，在步骤1105，以第一位姿标识或第二位姿标识作为起点，在搜索方向上搜索位姿标识。在一些实施例中，若以第一位姿标识图案角点为新的起点，则可以以上述实施例中的第一搜索方向作为搜索方向进行位姿标识图案角点的搜索。若以第二位姿标识图案角点为新的搜索起点，则可以以上述实施例中的第二搜索方向作为搜索方向进行位姿标识图案角点的搜索。在一些实施例中，搜索新的位姿标识图案角点(例如，图12中的第三位姿标识图案角点P1203)可以与方法1100中的步骤1101或者方法1400类似地执行。在一些实施例中，搜索步长可以是第一位姿标识图案角点P1201和第二位姿标识图案角点P1202之间的距离L1。
图14示出根据本公开一些实施例的用于搜索位姿标识的方法1400的流程图。如图14所示，该方法1400中的部分或全部步骤可以由数据处理装置(例如，图2所示的控制装置220，图4所示的控制装置420，或图20所示的处理器2020)来执行。方法1400中的部分或全部步骤可以由软件、固件和/或硬件来实现。在一些实施例中，方法1400可以由机器人系统(例如，图2所示的机器人系统200，或图20所示的机器人系统2000)执行。在一些实施例中，方法1400可以实现为计算机可读的指令。这些指令可以由通用处理器或专用处理器(例如，图20所示的处理器2020)读取并执行。在一些实施例中，这些指令可以存储在计算机可读介质上。在一些实施例中，方法1100中的步骤1105可以与方法1400类似地实现。
参看图14，在步骤1401，以第一位姿标识或第二位姿标识作为起点，搜索第三位姿标识的候选位姿标识图案角点。在一些实施例中，搜索第三位姿标识的候选位姿标识图案角点可以与图12所示搜索第三位姿标识图案角点P1203类似地实现。
在步骤1403，基于多个位姿标识的分布，确定第三位姿图案匹配模板，第三位姿图案匹配模板对应于与第一位姿标识相邻或与第二位姿标识相邻的位姿标识。在一些实施例中，可以基于第一位姿标识或第二位姿标识包括的位姿标识图案以及多个位姿标识图案的分布，确定第一位姿标识或第二位姿标识相邻的位姿标识包括的位姿标识图案，进而确定第三位姿图案匹配模板。
在步骤1405，将第三位姿图案匹配模板与第三位姿标识的候选位姿标识图案角点位置处的图案进行匹配，以识别第三位姿标识。在一些实施例中，步骤1405可以与步骤1305类似地实现。
在一些实施例中，响应于搜索距离大于搜索距离阈值，确定像素集合中剩余像素的角点似然值最大的像素作为候选位姿标识图案角点；以及将多个不同的位姿图案匹配模板分别与候选位姿标识图案角点位置处的图案进行匹配，以识别第一位姿标识。在一些实施例中，在确定像素集合中剩余像素的角点似然值最大的像素作为新的候选位姿标识图案角点之后，可以基于与步骤903类似地方法识别新的第一位姿标识。在一些实施例中，搜索距离大于搜索距离阈值可以理解为在部分或者全部的搜索方向上的搜索距离大于搜索距离阈值。在一些实施例中，搜索距离阈值可以包括第N-1个位姿标识图案角点和第N-2个位姿标识图案角点的距离的设定倍数，其中N≥3。
例如，搜索距离阈值为两倍的前两个位姿标识图案角点的距离。这样，搜索第三个位姿标识图案角点的最大搜索距离是第一位姿标识图案角点和第二位姿标识图案角点的距离的两倍，若在搜索方向上达到该搜索距离还未搜索到位姿标识图案角点，则确定像素集合中剩余像素的角点似然值最大的像素作为新的候选位姿标识图案角点，以及识别新的第一位姿标识，并且当前搜索过程也相应停止。在一些实施例中，与方法900类似，可以重新确定新的第一位姿标识图案角点，并且与方法1100类似，可以以新的位姿标识图案角点为搜索起点，搜索其余的位姿标识图案角点。
在一些实施例中，响应于识别到的位姿标识图案角点数量大于或等于位姿标识数量阈值，可以基于搜索到的位姿标识的搜索，确定可形变机械臂的末端相对参考坐标系的位姿，对位姿标识图案角点的搜索也相应停止。例如，当识别到四个位姿标识图案角点，停止对位姿标识图案角点的搜索。
在一些实施例中，响应于识别到的位姿标识数量小于位姿标识数量阈值，确定像素集合中剩余像素的角点似然值最大的像素作为候选位姿标识图案角点；以及将多个不同的位姿图案匹配模板分别与候选位姿标识图案角点位置处的图案进行匹配，以识别第一位姿标识。在一些实施例中，若识别到的位姿标识(例如，位姿标识图案角点)总数小于设定的位姿标识数量阈值，则认为上述步骤中基于第一位姿标识的搜索失败。在一些实施例中，在搜索失败的情况下，确定像素集合中剩余像素的角点似然值最大的像素作为新的候选位姿标识图案角点，之后可以基于与步骤903类似地方法识别新的第一位姿标识。在一些实施例中，与方法900类似，可以重新确定新的第一位姿标识图案角点，并且与方法1100类似，可以以新的位姿标识图案角点为搜索起点，搜索其余的位姿标识图案角点。
在一些实施例中，在搜索到或者识别到位姿标识图案角点之后，还可以对已确定的位姿标识图案角点进行亚像素定位，以提高位姿标识图案角点的位置精度。
在一些实施例中，可以对像素点的CL值基于模型进行拟合，以确定经亚像素定位后的位姿标识图案角点的坐标。例如，ROI中每个像素点的CL值的拟合函数可以为二次曲面函数，该函数的极值点为亚像素点。拟合函数可以基于以下公式(9)和(10)确定：
S(x,y)＝ax2+by2+cx+dy+exy+f (9)
Figure BDA0003506545720000161
其中，S(x，y)为每个ROI中的所有像素点的CL值拟合函数，a、b、c、d、e、f为系数；xc为位姿标识的x坐标，yc为位姿标识的y坐标。
本领域技术人员可以理解，可以通过推动和/或拉动可形变机械臂的结构骨，改变可形变机械臂的末端相对参考坐标系的位姿。在一些实施例中，可形变机械臂可能会受到外力作用，从而影响末端相对参考坐标系的位姿。例如，如图4所示，可形变机械臂450的末端451或者执行器460可能受到外力F的作用。控制装置420还可以基于可形变机械臂450的位姿，确定可形变机械臂的外部受力F。下面继续说明如何基于所获得的可形变机械臂末端的位姿、结构骨的驱动信息及可形变机械臂的力学模型，确定可形变机械臂的外部受力。
继续参看图1，在步骤107，可以获得可形变机械臂的结构骨的驱动信息。在一些实施例中，结构骨的近端可以与驱动机构连接，驱动机构可用于驱动结构骨在间隔盘的通孔中运动。例如，机器人的操作者发出控制可形变机械臂运动的控制指令(例如，控制指令中包括驱动信息)，驱动机构响应于控制指令并通过推动和/或拉动结构骨，实现结构骨的运动，满足操作者对可形变机械臂的操作需求。
在一些实施例中，具备弹性结构骨的可形变机械臂具有弹性性质，可以在受到外部作用力和/或驱动机构的驱动作用(例如，推拉作用)时发生诸如弯曲、伸缩或者扭曲等形式的形变。
图15示出根据本公开一些实施例的可形变机械臂1500在受到驱动时的形变示意图。如图15所示，当可形变机械臂中的结构骨310受到推拉驱动时，可形变机械臂产生形变。例如，当可形变机械臂中的结构骨受到驱动机构(未示出)的驱动时，结构骨310能够沿着间隔盘320上的通孔3201(如图3所示)运动。驱动机构的驱动可包括推动(例如，图15中的推动方向)以及拉动(例如，图15中的拉动方向)。例如，驱动机构向结构骨施加向下的拉动作用力时，结构骨发生形变，例如结构骨的长度大于结构骨处于静态状态下的长度。当驱动机构向结构骨施加向上的推动作用力时，结构骨发生形变，例如结构骨的长度小于结构骨处于静态状态下的长度。
图16示出了本公开一些实施例的可形变机械臂1600在受到驱动以及外部作用力F时的形变示意图。在一些实施例中，当可形变机械臂受到外部作用力F时，结构骨310可以沿着间隔盘320上的通孔3201运动。外部作用力F可以是作用在可形变机械臂末端位置处的作用力，也可以是作用在可形变机械臂其他位置处的作用力。例如，外部作用力可以包括在执行作业时，可形变机械臂与被操作的对象接触时产生的作用力。
如图3所示，可形变机械臂处于静态状态，末端位姿不发生变化。如图15以及图16所示，当可形变机械臂受到驱动作用或者外部作用力时，可形变机械臂及其末端的位姿发生变化。在一些实施例中，该可形变机械臂末端的位姿可以如上所述通过方法100中的步骤101至步骤105获得。
继续参看图1，在步骤109，可以基于所获得的可形变机械臂末端的位姿、结构骨的驱动信息及可形变机械臂的力学模型，确定可形变机械臂的外部受力。其中，力学模型基于可形变机械臂的结构骨在可形变机械臂的横截面上的分布以及结构骨的物理特性。
在一些实施例中，可以基于所获得的可形变机械臂末端的位姿、可形变机械臂的外部受力、可形变机械臂的驱动信息之间的关系构建可形变机械臂的力学模型。这样，在已知可形变机械臂末端的位姿变化以及驱动信息时，可以基于构建的力学模型计算可形变机械臂的外部受力。
可形变机械臂的力学模型可以基于可形变机械臂的结构骨在可形变机械臂的横截面上的分布以及结构骨的物理特性构建。在一些实施例中，结构骨在可形变机械臂的横截面上的分布可以由结构骨在横截面中的位置向量表示。例如，可以是结构骨相对于可形变机械臂的中心参考线的位置偏移向量。参见图15，第j个结构骨在横截面中的位置向量对应为rj。在一些实施例中，结构骨的物理特性可以用于表征结构骨的弹性形变特性，例如用于表征当可形变机械臂受到外部作用力和/或驱动作用时可形变机械臂的形变。
在一些实施例中，可形变机械臂上各点的位姿可以基于可形变机械臂的中心轴线上各点的坐标系来表示。例如，中心轴线可以是可形变机械臂在轴向延伸的虚拟中心线(例如，图3中的340)。在一些实施例中，可形变机械臂坐标系可以是局部的动态坐标系，每一个轴向点对应一个可形变机械臂坐标系。图18示出了本公开一些实施例的坐标系1800的示意图。参见图18，可以以可形变机械臂的近端(例如，s＝0)为起始点，以可形变机械臂的远端(例如，s＝L)为末端点。沿着参考线的轴向，建立每一个轴向点的可形变机械臂坐标系。在图18中，可形变机械臂坐标系是{d}，XdYdZd，其中可以包括可形变机械臂的末端坐标系{wm}，XwmYwmZwm，参考坐标系是{w}，XwYwZw。
在一些实施例中，可形变机械臂坐标系包括第一坐标方向、第二坐标方向以及第三坐标方向。例如，可以将轴向点与中心轴线的切线作为第一坐标方向，第一坐标方向可以是可形变机械臂坐标系的Zd轴。可以将轴向点指向结构骨的线段作为第二坐标方向，第二坐标方向可以是可形变机械臂坐标系的Xd轴。可以基于第一坐标方向及第二坐标方向确定第三坐标方向，可以将第三坐标方向作为可形变机械臂的Yd轴。基于第一坐标方向、第二坐标方向及第三坐标方向构建轴向点的可形变机械臂坐标系XdYdZd，如图18所示。
在一些实施例中，可形变机械臂的位姿可以基于可形变机械臂的中心轴线的位姿与结构骨在可形变机械臂的横截面上的分布来确定。可形变机械臂的位姿可以由公式(11)及公式(12)来表示，
pj＝p+Rrj (11)
Rj＝R (12)
在公式(11)以及公式(12)中，pj是可形变机械臂中第j个结构骨的位置，是可形变机械臂的中心轴线的位置，rj是第j个结构骨在可形变机械臂的横截面上的分布，Rj是可形变机械臂中第j个结构骨的姿态，R是可形变机械臂的中心轴线的姿态。
在一些实施例中，中心轴线的位姿可以是中心轴线在参考坐标系下的位姿。机械臂的中心轴线坐标系沿轴向的变化可以由公式(13)以及公式(14)来表示，
p′＝Rv (13)
R′＝Ru^ (14)
在公式(13)及公式(14)中，p是中心轴线在参考坐标系下的位置，R是中心轴线在参考坐标系下的姿态，()′表示对长度s求导，()^表示将向量转为斜对称矩阵的运算：
Figure BDA0003506545720000181
v是线速度，u是角速度，R表示旋转。R可以转换描述的坐标系，例如R可以是将可形变机械臂坐标系转换至参考坐标系。可形变机械臂坐标系可以是中心轴线上的轴向点对应的坐标系，可以随着轴向点的不同而发生变化，其中可以包括位于机械臂末端的可形变机械臂的末端坐标系。参考坐标系如上所述可以是例如台车坐标系、相机坐标系、或世界坐标系等，可以是不变的坐标系。
在一些实施例中，力学模型可以包括与结构骨相关的本构关系。本构关系可以表示结构骨的材料的特性，例如可以通过结构骨的内部受力与结构骨的形变来表达材料的特性。
在一些实施例中，可形变机械臂包括至少一根结构骨(j是结构骨编号，j＝1，2，3…m)，可形变机械臂的内部受力本构关系可以基于结构骨的内部受力本构关系确定。可形变机械臂的内部受力本构关系可以基于结构骨的剪切拉伸刚度矩阵确定。
在一些实施例中，可形变机械臂包括约束结构(例如，间隔盘、固定盘、包覆层等)以及结构骨，可形变机械臂的内部受力本构关系可以基于可形变机械臂的约束结构以及结构骨的内部受力本构关系确定。例如，可形变机械臂的内部受力本构关系参见公式(15)，
Figure BDA0003506545720000182
在公式(15)中，nall是可形变机械臂的内部受力，R是旋转矩阵，KSE是可形变机械臂的约束结构的剪切拉伸刚度矩阵，KSEj是可形变机械臂中第j个结构骨的剪切拉伸刚度矩阵，v是可形变机械臂的位姿沿参考线弧长变化的线速度，例如，参考线可以是可形变机械臂的中心轴线，vmin是可形变机械臂在自然状态下的线速度。例如，vmin可以是不受外部作用力以及驱动作用时的线速度，vmin＝[001]T。
在一些实施例中，可形变机械臂包括多根结构骨(j是结构骨编号，j＝1，2，3…m)，可形变机械臂的内部力矩本构关系可以基于结构骨的内部力矩本构关系确定。可形变机械臂的内部力矩本构关系可以基于结构骨的弯曲扭转刚度矩阵确定。
在一些实施例中，可形变机械臂包括约束结构以及结构骨，可形变机械臂的内部力矩本构关系可以基于可形变机械臂的约束结构以及结构骨的内部受力本构关系确定。例如，可形变机械臂的内部力矩本构关系参见公式(16)，
Figure BDA0003506545720000183
在公式(16)中，mall是可形变机械臂的内部力矩，R是旋转矩阵，KBT为是可形变机械臂的约束结构的弯曲扭转刚度矩阵，KBTj是可形变机械臂中第j个结构骨的弯曲扭转刚度矩阵，u是可形变机械臂的位姿沿参考线弧长变化的角速度，umin是在自然状态下的角速度，例如可以是不受外部作用力以及驱动作用时的角速度，umin＝0。
在一些实施例中，力学模型包括与结构骨相关的力学平衡关系。力学平衡关系包括结构骨的受力平衡关系，受力平衡关系包括结构骨沿轴向各位置处的受力平衡。在一些实施例中，受力平衡关系包括结构骨沿轴向在受力处的外部受力与内部受力处于平衡。
在一些实施例中，力学平衡关系包括可形变机械臂的受力平衡关系，受力平衡关系包括结构骨沿轴向各处的受力平衡。在一些实施例中，可形变机械臂的受力平衡关系包括可形变机械臂沿轴向在受力处的外部受力与内部受力处于平衡。
图17示出根据一些实施例的可形变机械臂1700的受力示意图。参见图17的左侧，对于可形变机械臂的一个结构单元[s,s+Δs]，结构单元[s,s+Δs]的受力平衡关系参见公式(17)，
Figure BDA0003506545720000191
可形变机械臂可以包括约束结构(例如，间隔盘、固定盘、包覆层等)和结构骨。在公式(17)中，n(s)表示可形变机械臂的约束结构在s处的内部受力，n(s+Δs)表示可形变机械臂的约束结构在(s+Δs)处的内部受力，Δs是一个较小的增量，fe(ξ)表示可形变机械臂在ξ处的分布式外力。nj(s)表示第j个结构骨在s处的内部受力，nj(s+Δs)表示第j个结构骨在(s+Δs)处的内部受力。
基于公式(17)得到可形变机械臂的受力平衡关系，如公式(18)，
n′all+fe＝0 (18)
在公式(18)中，nall是可形变机械臂的内部受力，()′表示求导，fe是分布式外力(例如重力)。在一些实施例中，分布式外力可以忽略。
在一些实施例中，可形变机械臂的力学平衡关系包括力矩平衡关系，力矩平衡关系包括结构骨沿轴向的力矩。参见图17的右侧，对于可形变机械臂的一个结构单元[s,s+Δs]，结构单元[s,s+Δs]的力矩平衡关系参见公式(19)，
Figure BDA0003506545720000192
在公式(19)中，m(s)表示可形变机械臂的约束结构在s处的内部力矩，m(s+Δs)表示可形变机械臂的约束结构在s+Δs处的内部力矩，Δs是小增量。p(s+Δs)表示可形变机械臂的约束结构在s+Δs处的位置，n(s+Δs)表示可形变机械臂的约束结构在s+Δs处的内部受力。p(s)表示可形变机械臂的约束结构在s处的位置，n(s)表示可形变机械臂的约束结构在s处的内部受力。le(ξ)表示可形变机械臂的约束结构在ξ处的分布式力矩(在一些实施例中，分布式力矩可以忽略)，p(ξ)是可形变机械臂的约束结构在ξ处的位置，fe(ξ)表示可形变机械臂的约束结构在ξ处的分布式外力。mj(s)表示第j个结构骨在s处的内部力矩，mj(s+Δs)表示第j个结构骨在s+Δs处的内部力矩。pj(s+Δs)表示第j个结构骨在s+Δs处的位置，nj(s+Δs)表示第j个结构骨在s+Δs处的内部受力。pj(s)表示第j个结构骨在s处的位置，nj(s)表示第j个结构骨在s处的内部受力。
基于公式(19)得到可形变机械臂在s位置处的力矩平衡关系，参见公式(20)，
Figure BDA0003506545720000201
在公式(20)中，mall是可形变机械臂的内部力矩，p是可形变机械臂的参考线的位置，nall是可形变机械臂的内部受力，le是可形变机械臂的分布式力矩，在一些实施例中，分布式力矩可以忽略。R是可形变机械臂的参考线的旋转矩阵，rj是第j个结构骨在可形变机械臂的截面上的分布，例如rj可以是结构骨在可形变机械臂的横截面上的分布位置坐标，u是可形变机械臂的位姿沿参考线的弧长变化的角速度，KSEj第j个结构骨的剪切拉伸刚度矩阵，
Figure BDA0003506545720000202
是线性应变，表示第j个结构骨的位姿沿参考线的弧长变化的线速度在形变发生前后的差值。在一些实施例中，应用可形变机械臂在末端的力矩边界条件，力矩边界条件包括可形变机械臂在末端处的内力矩之和为零，参见公式(21)，
Figure BDA0003506545720000203
在公式(21)中，me是可形变机械臂在末端L位置处的外部力矩，m(L)是可形变机械臂在末端L处的内部力矩，R(L)是可形变机械臂在末端L处的旋转矩阵。
在一些实施例中，可形变机械臂的力学模型包括结构骨沿轴向的长度变化量与结构骨在可形变机械臂的横截面上的分布之间的关系。例如，可形变机械臂中的每一个结构骨(j是结构骨编号，j＝1,2,3,…,m)沿轴向的长度变化量参见公式(22)，
Figure BDA0003506545720000204
在公式(22)中，qj是第j个结构骨沿轴向的长度变化量，rj是结构骨在可形变机械臂的横截面上的分布，例如rj可以是结构骨在可形变机械臂的横截面上的分布位置坐标，v是可形变机械臂的位姿沿参考线的弧长变化的线速度，u是可形变机械臂位姿沿参考线的弧长变化的角速度。
在一些实施例中，结构骨的长度变化qj(j是结构骨的编号，j＝1,2,3,…,m)可以与驱动信息有关，例如，驱动信息可以是驱动机构驱动结构骨运动的信息。在一些实施例中，结构骨的长度变化量还可以与可形变机械臂的形变量有关。例如，可形变机械臂的形变量可以是其结构骨的伸缩形变。在一些实施例中，应用结构骨的长度边界条件，长度边界条件包括结构骨在末端处的长度变化量qj(L)等于长度驱动量qaj与长度形变量εj之和。结构骨的驱动信息包括长度驱动量。例如，可形变机械臂中的所有结构骨沿轴向的长度变化量参见公式(23)。
q(L)＝qa+Lallε (23)
在公式(23)中，q(L)＝[q1(L)q2(L)...qm(L)]T表示各结构骨在s＝L处的长度，qa＝[qa1 qa2...qam]T表示各结构骨的驱动量长度，Lall表示结构骨的总长，ε＝[ε1ε2...εm]T表示各结构骨上的伸缩线性应变。例如，εj可以是百分比，Lallεj表示第j个结构骨的伸缩形变量。
在一些实施例中，基于解析法对可形变机械臂的力学模型求解，以确定可形变机械臂的外部受力。在一些实施例中，基于打靶法对可形变机械臂的力学模型求解，以确定可形变机械臂的外部受力。
在一些实施例中，基于打靶法对可形变机械臂的力学模型求解以确定可形变机械臂的外部受力可以包括，基于力学模型确定可形变机械臂末端的计算位姿，基于计算位姿确定可形变机械臂的外部受力。
在一些实施例中，基于可形变机械臂在初始位置处的初始受力和初始力矩、结构骨的长度形变量和驱动信息及可形变机械臂的力学模型，确定可形变机械臂末端的计算位姿，其中驱动信息包括长度驱动量。例如，初始位置可以是可形变机械臂的靠近驱动机构的近端位置(例如，可形变机械臂的近端固定位置或者伸出鞘套的位置)，可以记为0位置。基于可形变机械臂在初始位置处的初始受力n(0)、初始力矩m(0)、结构骨的长度形变量ε(0)和驱动信息qa(0)及可形变机械臂的力学模型，确定可形变机械臂末端的计算位姿。例如，可以以初始位置为起始点，以末端位置为终点，沿可形变机械臂的轴向进行微分计算得到可形变机械臂末端的计算位姿。
在一些实施例中，可形变机械臂末端的计算位姿可以基于可形变机械臂的中心轴线的计算位姿。例如，可以基于估计的初始位置处的初始受力n(0)、初始力矩m(0)、结构骨的长度形变量ε(0)和已知的驱动信息qa(0)，通过公式(11)-(23)计算可形变机械臂末端的位姿。
在一些实施例中，中心轴线的位姿可以基于中心轴线上的每一个轴向点的位置以及姿态确定。例如，可以构建每一个的轴向点的可形变机械臂坐标系，如图18所示，基于每一个可形变机械臂坐标系确定每一个轴向点的位置和姿态。在一些实施例中，可以基于可形变机械臂的末端坐标系确定该可形变机械臂末端的位置和姿态。
在一些实施例中，响应于可形变机械臂末端的计算位姿与所获得的可形变机械臂末端的位姿(以下也称“所获得的位姿”)之差满足误差要求，基于初始受力和初始力矩，确定可形变机械臂的外部受力。例如，当基于可形变机械臂在初始位置处的初始值(例如，初始受力和初始力矩、结构骨的长度形变量和驱动信息)确定的计算位姿与基于所获得的位姿的位姿差满足误差要求(例如小于误差)时，说明初始位置处的初始值满足外部受力计算的需求。因此，基于可形变机械臂在初始位置处的初始值，确定可形变机械臂的外部受力。
在一些实施例中，基于打靶法对可形变机械臂的力学模型求解以确定可形变机械臂的外部受力还包括，响应于计算位姿与所获得的位姿的位姿差不满足误差要求，调整初始受力、初始力矩和长度形变量。基于经调整的初始受力、初始力矩和长度形变量、驱动信息及可形变机械臂的力学模型，确定可形变机械臂末端的计算位姿，直到计算位姿与所获得的位姿的位姿差满足误差要求。当位姿差不满足误差要求时，说明基于初始值计算得到的计算位姿与所获得的位姿存在一定的差距，初始值需要调整。迭代地调整初始值，基于经调整的初始值确定可形变机械臂末端的计算位姿，直到计算位姿与所获得的位姿的位姿差满足误差要求。当经调整的初始值确定的位姿差满足误差要求时，进行外部受力的计算。这样，通过位姿差对初始值的准确性进行校验，提高了通过初始值计算得到的外部受力的准确性。
在一个实施例中，确定计算位姿与获得的位姿之差参见公式(24)及公式(25)，
Δp＝p(L)-pmarker(L) (24)
Δω＝log(RT(L)Rmarker(L))∨ (25)
在公式(24)中，Δp是可形变机械臂的测量位置pmarker(L)与计算位置p(L)之间的位置之差。在公式(25)中，Δω是反应可形变机械臂的测量姿态Rmarker(L)与计算姿态R(L)之间的姿态之差，()T表示矩阵转置，()∨表示将斜对称矩阵转为向量的运算符：
Figure BDA0003506545720000221
在一些实施例中，可以基于初值向量的变化对边界条件值向量的影响矩阵，确定初值向量的调整量。初值向量包括初始受力、初始力矩和长度形变量。基于调整量，调整初值向量。例如，可以基于可形变机械臂在初值处的初始受力n(0)、初始力矩m(0)和长度形变量ε确定初值向量x(0)。可以基于结构骨的长度边界条件、可形变机械臂在末端的力矩边界条件和位姿边界条件，确定边界条件值向量b(L)。初值向量x(0)的变化对边界条件值向量b(L)的影响矩阵J，影响矩阵J的表示参见公式(26)，
Figure BDA0003506545720000222
在一些实施例中，可以通过对初值向量的元素施加扰动，计算影响矩阵的元素。基于影响矩阵的元素，调整初值向量的元素。例如，边界条件值b(L)不能显式地表达成关于初值向量x(0)的方程，J可以通过数值方法求得。对于J的第i列，可以在初值向量x(0)的第i个元素上施加扰动，计算影响矩阵J的元素，参见公式(27)，
Figure BDA0003506545720000223
在公式(27)中，ei是第i个元素是1、其它元素是0的向量。δ是很小的正数，
Figure BDA0003506545720000224
是在初值向量x(0)在第i个元素扰动δ时的边界值，bx(0)(L)是在初值向量为x(0)时的边界值。基于公式(17)得到影响矩阵J的元素为J＝[J[1]J[2]...J[n]]，基于影响矩阵J的元素J＝[J[1]J[2]...J[n]]及公式(27)调整初值向量x(0)的元素，参见公式(28)，
x(0)＝x(0)-(JTJ+λI)-1JTb(L) (28)
在公式(28)中，λ是一个正数。在一些实施例中，可以迭代调整初值向量，直到边界条件值向量的误差满足要求。边界条件值向量包括结构骨在末端处的长度等于驱动信息中包括的长度驱动量与长度形变量之和，计算位姿与所获得的位姿之差满足误差要求，以及可形变机械臂在末端处的力矩平衡。例如，基于公式(28)通过数次迭代，可以获得调整的初值向量x(0)，使边界条件值向量b(L)＝0的误差足够小。这样，通过打靶法对近端初始值进行调整，基于调整后的近端初始值计算可形变机械臂的外部受力，提高外部受力计算的准确性。例如，基于初始受力、初始力矩以及可形变机械臂的受力平衡关系，计算可形变机械臂末端的外部受力。
在一些实施例中，可形变机械臂可以用于执行机器人辅助作业。在作业中，操作者需要感知可形变机械臂所受到的外部作用力，如可形变机械臂与操作对象作用的力，进而根据可形变机械臂的外部受力指导操作者的操作。例如，将可形变机械臂的外部受力反馈至操作者，可以帮助操作者正确地操作施力、实现对操作区域的触摸模拟、或避免错误的操作，进而提高操作精度和操作效率，降低误操作的风险。
上述实施例中，基于可形变机械臂的位姿受到驱动信息以及外部作用力约束的原理，预先构建用于描述可形变机械臂的位姿、可形变机械臂的外部受力以及可形变机械臂的驱动信息之间关系的力学模型。在一些实施例中，可以基于获取到的可形变机械臂末端的位姿、驱动信息，通过可形变机械臂的力学模型计算得到可形变机械臂的外部受力。根据得到的可形变机械臂的外部受力指引主控台的操作者控制可形变机械臂的运动，进行操作。
在一些实施例中，可以利用标识获得可形变机械臂末端的位姿，基于获得的位姿以及力学模型计算可形变机械臂的外部受力。相比于利用力学传感器测量可形变机械臂的外部受力而言，使用标识具有成本低、配置简单、所占用空间小、使用灵活、适用性强以及实用性强的优势。并且，构建的力学模型是可以重复利用的，实现了一次建模可重复计算的高效效果。
本公开一些实施例中，本公开还提供了一种计算机设备，计算机设备包括存储器和处理器。存储器可以用于存储有至少一条指令，处理器与存储器耦合，用于执行至少一条指令以执行本公开的方法中的部分步骤或全部步骤，如图1、图7、图8、图9、图11、图13和图14中公开的方法中的部分步骤或全部步骤。
图19示出根据本公开一些实施例的计算机设备1900的示意框图。参看图19，该计算机设备1900可以包括中央处理单元(CPU)1901、包括随机存取存储器(RAM)1902和只读存储器(ROM)1903的系统存储器1904，以及连接各部件的系统总线1905。计算机设备1900还可以包括输入/输出系统，和用于存储操作系统1913、应用程序1914和其他程序模块1915的大容量存储设备1907。输入/输出设备包括主要由显示器1908和输入设备1909组成的输入/输出控制器1910。
大容量存储设备1907通过连接到系统总线1905的大容量存储控制器(未示出)连接到中央处理单元1901。大容量存储设备1907或者计算机可读介质为计算机设备提供非易失性存储。大容量存储设备1907可以包括诸如硬盘或者光盘只读存储器(Compact DiscRead-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，CD-ROM、或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器和大容量存储设备可以统称为存储器。
计算机设备1900可以通过连接在系统总线1905上的网络接口单元1911连接到网络1912。
系统存储器1904或大容量存储设备1907还用于存储一个或者一个以上的指令。中央处理器1901通过执行该一个或一个以上指令来实现本公开一些实施例中的方法的全部或者部分步骤。
本公开一些实施例中，本公开还提供一种计算机可读存储介质，存储介质中存储有至少一条指令，该至少一条指令由处理器执行以使计算机执行本公开一些实施例的方法中的部分步骤或全部步骤，如图1、图7、图8、图9、图11、图13和图14中公开的方法中的部分步骤或全部步骤。计算机可读存储介质的示例包括计算机程序(指令)的存储器，例如，只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
图20示出根据本公开一些实施例的机器人系统2000的示意图。本公开一些实施例中，参看图20，机器人系统2000可以包括：工具2050、图像采集设备2010以及处理器2020，其中工具2050可以包括至少一个可形变机械臂2040。可形变机械臂2040可以如上述图3、图15及图16所示包括一根或多根结构骨310、固定盘330以及至少一个间隔盘320，结构骨310穿过至少一个间隔盘320并且末端与固定盘330固定连接。可形变机械臂2040上形成有末端2030。在一些实施例中，上述固定盘330可以相当于可形变机械臂2040的末端2030。在末端2030上可以形成有或设置有多个位姿标识，这些位姿标识包括不同的位姿标识图案，在末端2030的远端可以设置有执行器。图像采集设备2010可以用于采集可形变机械臂2040的定位图像。处理器2020与图像采集设备2010连接，用于执行本公开一些实施例的方法中的部分步骤或全部步骤，如图1、图7、图8、图9、图11、图13和图14中公开的方法中的部分步骤或全部步骤。
注意，上述仅为本公开的示例性实施例及所运用技术原理。本领域技术人员会理解，本公开不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此，虽然通过以上实施例对本公开进行了较为详细的说明，但是本公开不仅仅限于以上实施例，在不脱离本公开构思的情况下，还可以包括更多其他等效实施例，而本公开的范围由所附的权利要求范围决定。

Claims (30)

1.一种确定可形变机械臂的外部受力的方法，其特征在于，所述方法包括：
获取定位图像；
在所述定位图像中，识别位于所述可形变机械臂的末端上的多个位姿标识，所述多个位姿标识包括不同的位姿标识图案，所述可形变机械臂包括至少一根结构骨、固定盘以及至少一个间隔盘，所述至少一根结构骨穿过所述至少一个间隔盘并且末端与所述固定盘固定连接；
基于所述多个位姿标识，获得所述可形变机械臂的末端相对参考坐标系的位姿；
获得所述可形变机械臂的所述至少一根结构骨的驱动信息；以及
基于所获得的所述位姿、所述至少一根结构骨的所述驱动信息及所述可形变机械臂的力学模型，确定所述可形变机械臂的外部受力，其中，所述力学模型基于所述可形变机械臂的所述至少一根结构骨在所述可形变机械臂的横截面上的分布以及所述至少一根结构骨的物理特性。
2.根据权利要求1所述的方法，其特征在于，还包括：
基于所述多个位姿标识的分布，确定所述多个位姿标识相对可形变机械臂的末端坐标系的Z轴的绕轴角度；以及
基于所述多个位姿标识的绕轴角度，确定所述多个位姿标识相对所述可形变机械臂的末端坐标系的三维坐标。
3.根据权利要求2所述的方法，其特征在于，还包括：
确定所述多个位姿标识在所述定位图像中的二维坐标；以及
基于所述多个位姿标识在所述定位图像中的二维坐标和所述多个位姿标识相对所述可形变机械臂的末端坐标系的三维坐标，确定所述位姿。
4.根据权利要求1所述的方法，其特征在于，还包括：
从所述定位图像中确定多个候选位姿标识；
基于多个不同的位姿图案匹配模板，从所述多个候选位姿标识中识别第一位姿标识；以及
以所述第一位姿标识作为起点，搜索位姿标识。
5.根据权利要求4所述的方法，其特征在于，所述位姿标识包括在所述位姿标识图案中的位姿标识图案角点，所述方法包括：
在所述定位图像中确定感兴趣区域；
将所述感兴趣区域划分为多个子区域；
确定每个所述子区域中角点似然值最大的像素以形成像素集合；
确定所述像素集合中角点似然值最大的像素作为候选位姿标识图案角点；以及
将所述多个不同的位姿图案匹配模板分别与所述候选位姿标识图案角点位置处的图案进行匹配，以识别所述第一位姿标识。
6.根据权利要求5所述的方法，其特征在于，包括：
响应于匹配失败，确定所述像素集合中剩余像素的角点似然值最大的像素作为候选位姿标识图案角点。
7.根据权利要求4-6中任一项所述的方法，其特征在于，还包括：
以所述第一位姿标识作为起点，搜索第二位姿标识；
基于所述第一位姿标识、所述第二位姿标识，确定搜索方向；以及
以所述第一位姿标识或所述第二位姿标识作为起点，在所述搜索方向上搜索位姿标识。
8.根据权利要求7所述的方法，其特征在于，以所述第一位姿标识作为起点搜索第二位姿标识包括：
以所述第一位姿标识作为起点，搜索所述第二位姿标识的候选位姿标识图案角点；
基于所述多个位姿标识的分布，确定第一位姿图案匹配模板和第二位姿图案匹配模板，所述第一位姿图案匹配模板和第二位姿图案匹配模板对应于与所述第一位姿标识相邻的位姿标识；以及
将所述第一位姿图案匹配模板和/或所述第二位姿图案匹配模板与所述第二位姿标识的候选位姿标识图案角点位置处的图案进行匹配，以识别所述第二位姿标识。
9.根据权利要求7所述的方法，其特征在于，以所述第一位姿标识或所述第二位姿标识作为起点在所述搜索方向上搜索位姿标识包括：
以所述第一位姿标识或所述第二位姿标识作为起点，搜索第三位姿标识的候选位姿标识图案角点；
基于所述多个位姿标识的分布，确定第三位姿图案匹配模板，所述第三位姿图案匹配模板对应于与所述第一位姿标识相邻或与所述第二位姿标识相邻的位姿标识；以及
将所述第三位姿图案匹配模板与所述第三位姿标识的候选位姿标识图案角点位置处的图案进行匹配，以识别所述第三位姿标识。
10.根据权利要求7所述的方法，其特征在于，还包括：
响应于搜索距离大于搜索距离阈值，确定所述像素集合中剩余像素的角点似然值最大的像素作为候选位姿标识图案角点；以及
将所述多个不同的位姿图案匹配模板分别与所述候选位姿标识图案角点位置处的图案进行匹配，以识别第一位姿标识。
11.根据权利要求7所述的方法，其特征在于，还包括：
响应于识别到的位姿标识数量小于位姿标识数量阈值，确定所述像素集合中剩余像素的角点似然值最大的像素作为候选位姿标识图案角点；以及
将所述多个不同的位姿图案匹配模板分别与所述候选位姿标识图案角点位置处的图案进行匹配，以识别第一位姿标识。
12.根据权利要求4-6中任一项所述的方法，其特征在于，还包括：
基于所述多个位姿标识中的至少两个，确定所述多个位姿标识的排布顺序；以及
基于所述多个位姿标识的排布顺序，确定所述多个位姿标识相对可形变机械臂的末端坐标系的三维坐标。
13.根据权利要求1-6中任一项所述的方法，其特征在于，
所述多个位姿标识设置在所述可形变机械臂的末端的柱状部分的外表面上。
14.根据权利要求1-6中任一项所述的方法，其特征在于，
所述可形变机械臂的末端的柱状部分的外表面上设置有包括所述多个位姿标识的定位标签，所述多个位姿标识包括沿柱状部分的周向分布在所述定位标签上的多个不同的位姿标识图案以及在所述位姿标识图案中的位姿标识图案角点。
15.根据权利要求1所述的方法，其特征在于，所述力学模型包括与所述至少一根结构骨相关的本构关系及力学平衡关系；
所述本构关系包括内部受力本构关系及内部力矩本构关系，所述内部受力本构关系基于所述至少一根结构骨的剪切拉伸刚度矩阵，所述内部力矩本构关系基于所述至少一根结构骨的弯曲扭转刚度矩阵；
所述力学平衡关系包括所述可形变机械臂的受力平衡关系及力矩平衡关系，所述受力平衡关系包括所述至少一根结构骨沿轴向的受力，所述力矩平衡关系包括所述至少一根结构骨沿轴向的力矩。
16.根据权利要求15所述的方法，其特征在于，所述受力平衡关系包括：
所述可形变机械臂沿轴向在受力处的外部受力与内部受力处于平衡，并且在末端处内部受力平衡；或者
所述可形变机械臂沿轴向在末端处的外部受力与内部受力处于平衡。
17.根据权利要求15所述的方法，其特征在于，所述至少一根结构骨的力矩是基于所述至少一根结构骨在所述可形变机械臂的横截面上的分布以及所述至少一根结构骨的剪切拉伸刚度矩阵来确定的。
18.根据权利要求1所述的方法，其特征在于，
所述可形变机械臂的力学模型包括所述至少一根结构骨沿轴向的长度变化量与所述至少一根结构骨在所述可形变机械臂的横截面上的分布之间的关系。
19.根据权利要求1所述的方法，其特征在于，还包括：
应用所述至少一根结构骨的长度边界条件，所述长度边界条件包括所述至少一根结构骨在末端处的长度等于长度驱动量与长度形变量之和，所述至少一根结构骨的驱动信息包括所述长度驱动量。
20.根据权利要求1所述的方法，其特征在于，还包括：
应用所述可形变机械臂在末端的力矩边界条件，所述力矩边界条件包括所述可形变机械臂在末端处的内力矩之和为零。
21.根据权利要求1-6、8-11、15-20中任一项所述的方法，其特征在于，还包括：
基于打靶法或解析法对所述可形变机械臂的力学模型求解，以确定所述可形变机械臂的外部受力。
22.根据权利要求21所述的方法，其特征在于，基于打靶法对所述可形变机械臂的力学模型求解，以确定所述可形变机械臂的外部受力包括：
基于所述可形变机械臂在初始位置处的初始受力和初始力矩、所述至少一根结构骨的长度形变量和驱动信息及所述可形变机械臂的力学模型，确定所述可形变机械臂的末端的计算位姿，其中所述驱动信息包括长度驱动量；以及
响应于所述计算位姿与所获得的所述位姿之差满足误差要求，基于所述初始受力和初始力矩，确定所述可形变机械臂的外部受力。
23.根据权利要求22所述的方法，其特征在于，基于打靶法对所述可形变机械臂的力学模型求解，以确定所述可形变机械臂的外部受力还包括：
响应于所述计算位姿与所获得的所述位姿之差不满足误差要求，调整所述初始受力、所述初始力矩和所述长度形变量；以及
基于经调整的所述初始受力、所述初始力矩和所述长度形变量、所述驱动信息及所述可形变机械臂的力学模型，确定所述可形变机械臂的末端的计算位姿，直到所述计算位姿与所获得的所述位姿之差满足误差要求。
24.根据权利要求22所述的方法，其特征在于，确定所述可形变机械臂的外部受力，包括：
基于所述初始受力、初始力矩以及所述可形变机械臂的受力平衡关系，计算所述可形变机械臂的末端的外部受力。
25.根据权利要求23所述的方法，其特征在于，还包括：
基于初值向量的变化对边界条件值向量的影响矩阵，确定所述初值向量的调整量，所述初值向量包括所述初始受力、所述初始力矩和所述长度形变量；以及
基于所述调整量，调整所述初值向量。
26.根据权利要求25所述的方法，其特征在于，还包括：
通过对所述初值向量的元素施加扰动，计算所述影响矩阵的元素；以及
基于所述影响矩阵的元素，调整所述初值向量的元素。
27.根据权利要求25所述的方法，其特征在于，还包括：
迭代地调整所述初值向量，直到所述边界条件值向量的误差满足要求，所述边界条件值向量包括所述至少一根结构骨在末端处的长度等于所述驱动信息中包括的长度驱动量与长度形变量之和，所述计算位姿与所获得的所述位姿之差满足误差要求，以及所述可形变机械臂在末端处的力矩平衡。
28.一种计算机设备，包括：
存储器，用于存储至少一条指令；以及
处理器，与所述存储器耦合，用于执行所述至少一条指令以执行根据权利要求1-27中任一项所述的方法。
29.一种计算机可读存储介质，用于存储至少一条指令，所述至少一条指令由计算机执行时致使所述计算机执行根据权利要求1-27中任一项所述的方法。
30.一种机器人系统，包括：
至少一个可形变机械臂，所述可形变机械臂包括至少一根结构骨、固定盘、至少一个间隔盘以及设置在所述可形变机械臂的末端上的多个位姿标识，所述多个位姿标识包括不同的位姿标识图案，所述至少一根结构骨穿过所述至少一个间隔盘并且末端与所述固定盘固定连接；以及
图像采集设备，用于采集所述可形变机械臂的定位图像；
控制装置，被配置为与所述图像采集设备连接，执行根据权利要求1-27中任一项所述的方法，以确定所述可形变机械臂的外部受力。
CN202210141436.7A 2022-02-16 2022-02-16 基于多个位姿标识确定可形变机械臂的外部受力的方法及机器人系统 Active CN114536330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210141436.7A CN114536330B (zh) 2022-02-16 2022-02-16 基于多个位姿标识确定可形变机械臂的外部受力的方法及机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210141436.7A CN114536330B (zh) 2022-02-16 2022-02-16 基于多个位姿标识确定可形变机械臂的外部受力的方法及机器人系统

Publications (2)

Publication Number Publication Date
CN114536330A true CN114536330A (zh) 2022-05-27
CN114536330B CN114536330B (zh) 2023-10-20

Family

ID=81674812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210141436.7A Active CN114536330B (zh) 2022-02-16 2022-02-16 基于多个位姿标识确定可形变机械臂的外部受力的方法及机器人系统

Country Status (1)

Country Link
CN (1) CN114536330B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009285778A (ja) * 2008-05-29 2009-12-10 Toyota Industries Corp ロボットハンドの姿勢検知システム
CN110455222A (zh) * 2019-07-31 2019-11-15 中山大学 一种高精度旋转角测量方法、装置及设备
CN111002341A (zh) * 2019-12-19 2020-04-14 中国科学院宁波材料技术与工程研究所 绳索驱动三自由度柔性关节刚度测量系统及方法
CN111618859A (zh) * 2020-06-03 2020-09-04 甘博涵 一种对于静止或低速工况下机械臂高精度力反馈的方法
CN111693040A (zh) * 2020-06-17 2020-09-22 苏州恒辉科技有限公司 基于串联弹性驱动器的机械臂碰撞检测方法
CN112949103A (zh) * 2019-11-26 2021-06-11 中国科学院沈阳自动化研究所 一种协作机器人非线性刚度建模方法
CN112936271A (zh) * 2021-02-04 2021-06-11 清华大学深圳国际研究生院 一种绳驱柔性机械臂及其三维空间静力学建模方法
CN112975934A (zh) * 2021-03-02 2021-06-18 中山大学 一种多连杆柔性机器人的动力学、工作空间及刚度建模方法及装置
CN113172659A (zh) * 2021-04-22 2021-07-27 哈尔滨工业大学（深圳） 基于等效中心点识别的柔性机器人臂形测量方法及系统
CN113910219A (zh) * 2020-07-11 2022-01-11 北京术锐技术有限公司 运动臂系统以及控制方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009285778A (ja) * 2008-05-29 2009-12-10 Toyota Industries Corp ロボットハンドの姿勢検知システム
CN110455222A (zh) * 2019-07-31 2019-11-15 中山大学 一种高精度旋转角测量方法、装置及设备
CN112949103A (zh) * 2019-11-26 2021-06-11 中国科学院沈阳自动化研究所 一种协作机器人非线性刚度建模方法
CN111002341A (zh) * 2019-12-19 2020-04-14 中国科学院宁波材料技术与工程研究所 绳索驱动三自由度柔性关节刚度测量系统及方法
CN111618859A (zh) * 2020-06-03 2020-09-04 甘博涵 一种对于静止或低速工况下机械臂高精度力反馈的方法
CN111693040A (zh) * 2020-06-17 2020-09-22 苏州恒辉科技有限公司 基于串联弹性驱动器的机械臂碰撞检测方法
CN113910219A (zh) * 2020-07-11 2022-01-11 北京术锐技术有限公司 运动臂系统以及控制方法
CN112936271A (zh) * 2021-02-04 2021-06-11 清华大学深圳国际研究生院 一种绳驱柔性机械臂及其三维空间静力学建模方法
CN112975934A (zh) * 2021-03-02 2021-06-18 中山大学 一种多连杆柔性机器人的动力学、工作空间及刚度建模方法及装置
CN113172659A (zh) * 2021-04-22 2021-07-27 哈尔滨工业大学（深圳） 基于等效中心点识别的柔性机器人臂形测量方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FULI ZHANG 等: "The Study of Dynamic Modeling and Multivariable Feedback Control for Flexible Manipulators with Friction Effect and Terminal Load", 《SENSORS》 *

Also Published As

Publication number Publication date
CN114536330B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN113910219B (zh) 运动臂系统以及控制方法
Croom et al. Visual sensing of continuum robot shape using self-organizing maps
EP4209313A1 (en) Error detection method and robot system based on a plurality of pose identifications
CN114536292A (zh) 基于复合标识的误差检测方法及机器人系统
US20230219220A1 (en) Error detection method and robot system based on association identification
CN104427952A (zh) 用于使用形状感测的变形补偿的系统和方法
CN110096152B (zh) 身体部位的空间定位方法、装置、设备及存储介质
CN114347037B (zh) 基于复合标识的机器人系统故障检测处理方法及机器人系统
CN114502937A (zh) 触觉传感器
CN114536331B (zh) 基于关联标识确定可形变机械臂的外部受力的方法及机器人系统
CN114224489B (zh) 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法
CN114536329B (zh) 基于复合标识确定可形变机械臂的外部受力的方法及机器人系统
CN114536330B (zh) 基于多个位姿标识确定可形变机械臂的外部受力的方法及机器人系统
CN115946105A (zh) 操作臂的控制方法和手术机器人系统
CN115957005A (zh) 用于控制操作臂的方法和手术机器人系统
CN114536401B (zh) 基于多个位姿标识的机器人系统故障检测处理方法及机器人系统
CN115708128A (zh) 操作臂的控制方法和手术机器人系统
CN116468647A (zh) 基于多个位姿标识的执行臂检测方法及机器人系统
CN116468648A (zh) 基于关联标识的执行臂检测方法及机器人系统
CN116468646A (zh) 基于复合标识的执行臂检测方法及机器人系统
CN115731289A (zh) 用于确定物体的位姿的方法和手术机器人系统
CN115731290A (zh) 用于确定物体的位姿的方法和手术机器人系统
CN116460837A (zh) 基于关联标识的操作臂防碰撞控制方法和手术机器人系统
CN116459019A (zh) 基于位姿标识的操作臂防碰撞控制方法和手术机器人系统
CN116459018A (zh) 基于复合标识的操作臂防碰撞控制方法和手术机器人系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100005 Wangfujing, Beijing Dongcheng District Wangfujing Shuai Fu Garden No. 1

Applicant after: PEKING UNION MEDICAL COLLEGE Hospital

Applicant after: Beijing Shurui Robot Co.,Ltd.

Address before: 100005 Wangfujing, Beijing Dongcheng District Wangfujing Shuai Fu Garden No. 1

Applicant before: PEKING UNION MEDICAL COLLEGE Hospital

Applicant before: BEIJING SURGERII TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant