CN116276993B - 基于合作标志的气囊型软体机械臂手眼标定与测量方法 - Google Patents

Abstract

本申请公开了一种基于合作标志的气囊型软体机械臂手眼标定与测量方法，包括步骤：S1、标定外部视觉测量系统，将基座标系建立在气囊型软体机械臂的基座上；S2、使用设定标定方法标定眼在手上视觉系统内参；S3、对眼在手上视觉系统进行手眼标定；S4、使用外部视觉测量系统直接检测目标，构造眼在手外测量系统，直接完成目标位姿计算，并将其转换为到所述基座标系下，确定标定板在机械臂基坐标系中的位姿；S5、利用眼在手上视觉系统统检测目标，并结合外部视觉测量系统和眼在手上视觉系统，计算目标在基坐标系下的坐标。本申请的方法确定了气囊型软体机械臂基坐标系和末端坐标系之间的变换关系，为基于视觉的软体机械臂控制奠定基础。

Description

基于合作标志的气囊型软体机械臂手眼标定与测量方法

技术领域

本申请涉及软体机械臂技术领域，特别地，涉及一种基于合作标志的气囊型软体机械臂手眼标定与测量方法。

背景技术

软体机械臂研究是近年来的热门新兴领域，以其质量轻.自由度多.适应非结构环境.安全人机交互等独特优势，在航天员任务辅助领域具有广阔的应用前景。气囊型软体机械臂具有材料非线性.结构非线性.自由度多.多物理场耦合作用等特点，传统刚性连接机制下的机械臂建模方法无法适用，使得无法构建准确的机械臂运动学模型。刚性机械臂手眼标定时需依赖机械臂本身精确关节反馈，确定机械臂基坐标系和末端坐标系之间的变换关系。而气囊型软体机械臂因无法确定臂本身状态，因此，无法像刚性机械臂那样依赖机械臂本身精确关节反馈来确定机械臂基坐标系和末端坐标系之间的变换关系。

发明内容

本申请提供了一种基于合作标志的气囊型软体机械臂手眼标定与测量方法，以解决现有技术中无法通过机械臂本身精确关节反馈来确定机械臂基坐标系和末端坐标系之间的变换关系的技术问题，可以计算机械臂本身的运动状态，标定手眼之间外部参数。

本申请采用的技术方案如下：

一种基于合作标志的气囊型软体机械臂手眼标定与测量方法，基于气囊型软体机械臂手眼标定与测量系统，所述体机械臂手眼标定与测量系统包括外部视觉测量系统、眼在手上视觉系统和若干合作标志，所述气囊型软体机械臂包括N节气囊型软体驱动器串联堆叠而成，每节软体驱动器由K段波纹状气囊并联而成，则机械臂驱动自由度为N*K,不同气囊型软体驱动器之间通过刚性板固连；每个刚性板和软体机械臂基座上均设置有合作标志；所述外部视觉测量系统包括若干外部相机，每一个合作标志至少有两个外部相机可以观测；所述眼在手上视觉系统安装在手抓上的刚性部件上，两者之间的相对位置关系保持恒定，包括步骤：

S1、标定外部视觉测量系统，将基座标系建立在气囊型软体机械臂的基座上；

S2、使用设定标定方法标定眼在手上视觉系统内参；

S3、对眼在手上视觉系统进行手眼标定；

S4、使用外部视觉测量系统直接检测目标，构造眼在手外测量系统，直接完成目标位姿计算，并将其转换为到所述基座标系下，确定标定板在机械臂基坐标系中的位姿；

S5、利用眼在手上视觉系统统检测目标，并结合外部视觉测量系统和眼在手上视觉系统，计算目标在基坐标系下的坐标。

进一步地，每个刚性板和软体机械臂基座上均设置合作标志时，每个刚性板上放置k≥3个不共线的合作标志，表示为l₁,l₂,…,l_k；在气囊型软体机械臂基座上放置n≥3个不共线合作标志，并进行编号b₁,b₂,…,b_n。

进一步地，每个刚性板和软体机械臂基座上均设置合作标志时，通过在刚性板上涂抹反光材料或粘贴反光贴片作为合作标志。

进一步地，所述外部视觉测量系统在设置外部相机时，需满足：每一个合作标志至少有两个外部相机可以观测到。

进一步地，所述步骤S1具体包括步骤：

S11、使用张正友标定法，利用标定板标定外部视觉测量系统各外部相机内参；

S12、利用不同外部相机之间共可视区域标定相机之间外参关系；

S13、保证至少两个外部相机能够观测到基座上同一合作标志，通过多视点几何方法计算基座上的合作标志在外部视觉测量系统的外部相机坐标系下的位姿；

S14、利用合作标志构建基坐标系，得到外部视觉测量系统的外部相机坐标系与基坐标系之间相对位姿关系；

S15、利用外部视觉测量系统构建统一世界坐标系，该统一世界坐标系即为机械臂的基坐标系，此时，因合作标志与机械臂的基座刚性连接，基坐标系与机械臂本体结构之间相对位姿关系不变，不管外部视觉测量系统如何布局，最终构建世界坐标系与机械臂本体结构之间相对位姿关系不变。

进一步地，所述步骤S3具体包括步骤：

S31、在眼在手上视觉系统的手眼相机的前方放置固定的标定板；

S32、第i时刻，机械臂随机运动到某个可以观测到标定板的新构型，利用手眼相机计算标定板位姿，得到手眼相机与标定板相对位姿关系其中上标c代表手眼相机坐标系，t代表标定板坐标系，/>表示i时刻从标定板坐标系到手眼相机坐标系的旋转矩阵和平移矢量，机械臂末端在基坐标系下的相对位姿关系表示为/>B表示基坐标系，ee表示末端坐标系，外部视觉测量系统建立统一世界坐标系(即基坐标系)，观测手抓刚性板上合作标志，计算手抓末端在基坐标系下的位姿关系，即/>则i时刻标定板在基坐标系中的位姿关系/>可表示为：

其中，为眼在手上视觉系统的手眼相机坐标系与机械臂末端坐标系相对位姿关系，即待标定的参数，由于标定板和机械臂基座都静止，两者相对位姿关系/>在标定过程中不变，为常数值；

S33、在j时刻利用S32步骤，可以得到方程：

S34、根据i时刻和j时刻方程，构建下列方程组：

其中与/>都是已知的，则转化为类似AX＝XB的方程组，其中/>为未知参数；

S35、使用步骤S32～步骤S34，构建多个方程组，使用最小二乘算法计算出完成气囊型软体机械臂的手眼标定。

进一步地，步骤S5具体包括步骤：

S51、通过外部视觉测量系统计算气囊型软体机械臂的运动状态

S52、通过眼在手上视觉系统的手眼相机获得目标在手眼相机坐标系下坐标

S53、最终计算在基坐标系下目标位姿：其中/>为手眼标定结果。

相比现有技术，本申请具有以下有益效果：

本申请提供了一种基于合作标志的气囊型软体机械臂手眼标定与测量方法，包括步骤：S1、标定外部视觉测量系统，将基座标系建立在气囊型软体机械臂的基座上；S2、使用张正友标定方法标定眼在手上视觉系统内参；S3、对眼在手上视觉系统进行手眼标定；S4、使用外部视觉测量系统直接检测目标，构造眼在手外测量系统，直接完成目标位姿计算，并将其转换为到所述基座标系下，确定标定板在机械臂基坐标系中的位姿S5、利用眼在手上视觉系统统检测目标，并结合外部视觉测量系统和眼在手上视觉系统，计算目标在基坐标系下的坐标。

本申请针对气囊型软体机械臂手眼标定与测量系统实际要求，根据气囊型软体机械臂的特点，基于合作标志手眼标定与测量系统进行气囊型软体机械臂手眼标定与测量，通过外部视觉能够标定手-眼之间的外参关系，并且可以计算气囊型软体机械臂本身的运动状态，从而确定气囊型软体机械臂基坐标系和末端坐标系之间的变换关系，为基于视觉的软体机械臂控制奠定基础。

除了上面所描述的目的、特征和优点之外，本申请还有其它的目的、特征和优点。下面将参照附图，对本申请作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请优选实施例的基于合作标志的气囊型软体机械臂手眼标定与测量方法流程示意图；

图2是本申请优选实施例的气囊型软体机械臂手眼标定与测量系统的组成原理示意图。

图3是本申请优选实施例的气囊型软体驱动器的横截面示意图。

图4是本申请优选实施例的刚性板立体结构示意图。

图中所示：1、刚性板；2、气囊型软体驱动器；3、手抓；4、标定板；5、眼在手上视觉系统；6、外部视觉测量系统；7、波纹状气囊；8、合作标志。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

参照图1，本申请的优选实施例提供了一种基于合作标志的气囊型软体机械臂手眼标定与测量方法，基于气囊型软体机械臂手眼标定与测量系统(见图2、图3和图4)，所述体机械臂手眼标定与测量系统包括外部视觉测量系统6、眼在手上视觉系统5和若干合作标志8，所述气囊型软体机械臂包括三节气囊型软体驱动器2串联堆叠而成，每节软体驱动器2由三段波纹状气囊7并联而成，则机械臂驱动自由度为九,不同气囊型软体驱动器2之间通过刚性板1固连；每个刚性板1和软体机械臂基座上均设置有合作标志；所述外部视觉测量系统6包括若干外部相机，每一个合作标志8至少有两个外部相机可以观测；所述眼在手上视觉系统5安装在手抓3上的刚性部件上，两者之间的相对位置关系保持恒定，包括步骤：

S1、标定外部视觉测量系统6，将基座标系建立在气囊型软体机械臂的基座上；

S2、使用设定标定方法标定眼在手上视觉系统5内参；

S3、对眼在手上视觉系统5进行手眼标定；

S4、使用外部视觉测量系统6直接检测目标，构造眼在手外测量系统，直接完成目标位姿计算，并将其转换为到所述基座标系下，确定标定板在机械臂基坐标系中的位姿；

S5、利用眼在手上视觉系统5统检测目标，并结合外部视觉测量系统6和眼在手上视觉系统5，计算目标在基坐标系下的坐标。

本实施例针对气囊型软体机械臂手眼标定与测量系统实际要求，根据气囊型软体机械臂的特点，基于合作标志手眼标定与测量系统进行气囊型软体机械臂手眼标定与测量，通过外部视觉能够标定手-眼之间的外参关系，并且可以计算气囊型软体机械臂本身的运动状态，从而确定气囊型软体机械臂基坐标系和末端坐标系之间的变换关系，为基于视觉的软体机械臂控制奠定基础。

在本申请的优选实施例中，每个刚性板1和软体机械臂基座上均设置合作标志时，每个刚性板1上放置k≥3个不共线的合作标志，表示为l₁,l₂,…,l_k；在气囊型软体机械臂基座上放置n≥3个不共线合作标志，并进行编号b₁,b₂,…,b_n。

本实施例中，在刚性板1和气囊型软体机械臂基座上均放置至少三个不共线合作标志的好处和目的在于在三维空间中至少需要三个不共线的合作标志才能唯一的确定刚体，也就能够唯一的确定机械臂基座标系。

在本申请的优选实施例中，每个刚性板1和软体机械臂基座上均设置合作标志8时，通过在刚性板1上涂抹反光材料或粘贴反光贴片作为合作标志8(如对角标志)，操作方便成本低。

在本申请的优选实施例中，所述外部视觉测量系统6在设置外部相机时，需满足：每一个合作标志8至少有两个外部相机可以观测到。本实施例中设置每一个合作标志8至少有两个外部相机可以观测到的好处目的是两个外部相机可以组成立体视觉系统，测量三维空间中标志点的位置，因此合作标志8至少需要被两个外部视觉系统观测到。

在本申请的优选实施例中，所述步骤S1具体包括步骤：

S11、使用张正友标定法，利用标定板标定外部视觉测量系统6各外部相机内参；

S12、利用不同外部相机之间共可视区域标定相机之间外参关系；

S13、保证至少两个外部相机能够观测到基座上同一合作标志，通过多视点几何方法计算基座上的合作标志在外部视觉测量系统6的外部相机坐标系下的位姿；

S14、利用合作标志构建基坐标系，得到外部视觉测量系统6的外部相机坐标系与基坐标系之间相对位姿关系；

S15、利用外部视觉测量系统6构建统一世界坐标系，该统一世界坐标系即为机械臂的基坐标系，此时，因合作标志与机械臂的基座刚性连接，基坐标系与机械臂本体结构之间相对位姿关系不变，不管外部视觉测量系统6如何布局，最终构建世界坐标系与机械臂本体结构之间相对位姿关系不变。

本实施例中，基座上的合作标志是固定的，故以合作标志为基础构建的基座标系相对于机械臂而言也是不变的。通过S11-S15，外部视觉系统感知基座合作标志，可以得到外部视觉测量系统坐标系与合作标志之间的相对位姿关系，如此可以将测量系统感知结果转换到基座标系下。后续，外部视觉测量系统可以随意挪动，或者使用新的视觉测量系统，均可以将感知结果转换到同一基座标系下，坐标系的统一有助于机械臂控制算法的开发。

在本申请的优选实施例中，所述步骤S3具体包括步骤：

S31、在眼在手上视觉系统5的手眼相机的前方放置固定的标定板4；

S32、第i时刻，机械臂随机运动到某个可以观测到标定板4的新构型，利用手眼相机计算标定板位姿，得到手眼相机与标定板相对位姿关系其中上标c代表手眼相机坐标系，t代表标定板坐标系，/>表示i时刻从标定板坐标系到手眼相机坐标系的旋转矩阵和平移矢量，机械臂末端在基坐标系下的相对位姿关系表示为/>B表示基坐标系，ee表示末端坐标系，外部视觉测量系统6建立统一世界坐标系(基坐标系)，观测手抓刚性板1上合作标志8，计算手抓3末端在基坐标系下的位姿关系，即/>则i时刻标定板在基坐标系中的位姿关系/>可表示为：

其中，为眼在手上视觉系统的手眼相机坐标系与机械臂末端坐标系相对位姿关系，即待标定的参数，由于标定板和机械臂基座都静止，两者相对位姿关系/>在标定过程中不变，为常数值；

S33、在j时刻利用S32步骤，可以得到方程：

S34、根据i时刻和j时刻方程，构建下列方程组：

其中与/>都是已知的，则转化为类似AX＝XB的方程组，其中/>为未知参数；

S35、使用步骤S32～步骤S34，构建多个方程组，使用最小二乘算法计算出完成气囊型软体机械臂的手眼标定。

本实施例中，眼在手上的相机安装在气囊型机械臂的末端，与手抓固连。软体机械臂与刚体机械臂并不相同，无法精确感知本体信息，故无法采用刚性机械臂方法完成手眼标定。采用外部视觉系统后，可以直接确定手在基座标系下坐标，辅助完成手眼标定。通过手眼标定，可以将眼在手上视觉系统感知到的信息转换到软体抓手末端坐标系上，为后续机械臂自主抓取操控提供支撑。

进一步地，步骤S5具体包括步骤：

S51、通过外部视觉测量系统6计算气囊型软体机械臂的运动状态

S52、通过眼在手上视觉系统5的手眼相机获得目标在手眼相机坐标系下坐标

S53、最终计算在基坐标系下目标位姿：其中/>为手眼标定结果。

本实施例中，测量系统包含外部视觉测量系统和眼在手上视觉系统，通过S5步骤可以将两类视觉系统进行结合，将眼在手上视觉系统感知的目标转换到基坐标系下，得到固定基坐标系下的感知结果，为后续机械臂自主控制奠定基础。

显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (4)

1.一种基于合作标志的气囊型软体机械臂手眼标定与测量方法，其特征在于，基于气囊型软体机械臂手眼标定与测量系统，所述体机械臂手眼标定与测量系统包括外部视觉测量系统(6)、眼在手上视觉系统(5)和若干合作标志(8)，所述气囊型软体机械臂包括N节气囊型软体驱动器(2)串联堆叠而成，每节软体驱动器(2)由K段波纹状气囊(7)并联而成，则机械臂驱动自由度为N*K,不同气囊型软体驱动器(2)之间通过刚性板(1)固连；每个刚性板(1)和软体机械臂基座上均设置有合作标志(8)；所述外部视觉测量系统(6)包括若干外部相机，每一个合作标志(8)至少有两个外部相机可以观测；所述眼在手上视觉系统(5)安装在手抓(3)上的刚性部件上，两者之间的相对位置关系保持恒定，包括步骤：

S1、标定外部视觉测量系统(6)，将基座标系建立在气囊型软体机械臂的基座上；

S2、使用设定标定方法标定眼在手上视觉系统(5)内参；

S3、对眼在手上视觉系统(5)进行手眼标定；

S4、使用外部视觉测量系统(6)直接检测目标，构造眼在手外测量系统，直接完成目标位姿计算，并将其转换为到所述基座标系下，确定标定板在机械臂基坐标系中的位姿；

S5、利用眼在手上视觉系统(5)检测目标，并结合外部视觉测量系统(6)和眼在手上视觉系统(5)，计算目标在基坐标系下的坐标；

每个刚性板(1)和软体机械臂基座上均设置合作标志(8)时，每个刚性板(1)上放置k≥3个不共线的合作标志，表示为l₁,l₂,…,l_k；在气囊型软体机械臂基座上放置n≥3个不共线合作标志，并进行编号b₁,b₂,…,b_n；

所述步骤S1具体包括步骤：

S11、使用张正友标定法，利用标定板标定外部视觉测量系统(6)各外部相机内参；

S12、利用不同外部相机之间共可视区域标定相机之间外参关系；

S13、保证至少两个外部相机能够观测到基座上同一合作标志(8)，通过多视点几何方法计算基座上的合作标志(8)在外部视觉测量系统(6)的外部相机坐标系下的位姿；

S14、利用合作标志构建基坐标系，得到外部视觉测量系统(6)的外部相机坐标系与基坐标系之间相对位姿关系；

S15、利用外部视觉测量系统(6)构建统一世界坐标系，该统一世界坐标系即为机械臂的基坐标系，此时，因合作标志与机械臂的基座刚性连接，基坐标系与机械臂本体结构之间相对位姿关系不变，不管外部视觉测量系统(6)如何布局，最终构建世界坐标系与机械臂本体结构之间相对位姿关系不变；

所述步骤S3具体包括步骤：

S31、在眼在手上视觉系统(5)的手眼相机的前方放置固定的标定板(4)；

S32、第i时刻，机械臂随机运动到某个可以观测到标定板(4)的新构型，利用手眼相机计算标定板位姿，得到手眼相机与标定板相对位姿关系其中上标c代表手眼相机坐标系，t代表标定板坐标系，/>表示i时刻从标定板坐标系到手眼相机坐标系的旋转矩阵和平移矢量，机械臂末端在基坐标系下的相对位姿关系表示为/>B表示基坐标系，ee表示末端坐标系，外部视觉测量系统(6)建立统一世界坐标系，观测手抓刚性板上合作标志，计算手抓末端在基坐标系下的位姿关系，即/>则i时刻标定板在基坐标系中的位姿关系/>可表示为：

其中，为眼在手上视觉系统的手眼相机坐标系与机械臂末端坐标系相对位姿关系，即待标定的参数，由于标定板和机械臂基座都静止，两者相对位姿关系/>在标定过程中不变，为常数值；

S33、在j时刻利用S32步骤，可以得到方程：

S34、根据i时刻和j时刻方程，构建下列方程组：

其中与/>都是已知的，则转化为类似AX＝XB的方程组，其中/>为未知参数；

S35、使用步骤S32～步骤S34，构建多个方程组，使用最小二乘算法计算出完成气囊型软体机械臂的手眼标定。

2.根据权利要求1所述的基于合作标志的气囊型软体机械臂手眼标定与测量方法，其特征在于，每个刚性板(1)和软体机械臂基座上均设置合作标志(8)时，通过在刚性板(1)上涂抹反光材料或粘贴反光贴片作为合作标志(8)。

3.根据权利要求1所述的基于合作标志的气囊型软体机械臂手眼标定与测量方法，其特征在于，所述外部视觉测量系统(6)在设置外部相机时，需满足：每一个合作标志(8)至少有两个外部相机可以观测到。

4.根据权利要求1所述的基于合作标志的气囊型软体机械臂手眼标定与测量方法，其特征在于，步骤S5具体包括步骤：

S51、通过外部视觉测量系统(6)计算气囊型软体机械臂的运动状态

S52、通过眼在手上视觉系统(5)的手眼相机获得目标在手眼相机坐标系下坐标

S53、最终计算在基坐标系下目标位姿：其中/>为手眼标定结果。