CN110116407B - 柔性机器人位姿测量方法及装置 - Google Patents

柔性机器人位姿测量方法及装置 Download PDF

Info

Publication number
CN110116407B
CN110116407B CN201910344594.0A CN201910344594A CN110116407B CN 110116407 B CN110116407 B CN 110116407B CN 201910344594 A CN201910344594 A CN 201910344594A CN 110116407 B CN110116407 B CN 110116407B
Authority
CN
China
Prior art keywords
pose
flexible robot
charging head
acquiring
pose information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910344594.0A
Other languages
English (en)
Other versions
CN110116407A (zh
Inventor
徐文福
彭键清
刘天亮
梁斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201910344594.0A priority Critical patent/CN110116407B/zh
Publication of CN110116407A publication Critical patent/CN110116407A/zh
Application granted granted Critical
Publication of CN110116407B publication Critical patent/CN110116407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0095Means or methods for testing manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis

Abstract

本发明公开了一种柔性机器人位姿测量方法,涉及机器人视觉测量的领域,通过获取初始位姿信息,对测量数据进行扩展卡尔曼滤波,从而得到柔性机器人与充电头的相对位姿信息,并根据相对位姿信息计算机械臂末端的期望速度,进而规划柔性机器人各关节的运动,从而精确对准充电头。通过引入柔性机器人,增大了充电机器人的工作空间并提高了其运动灵活性,并且其多自由度的冗余性非常适合于非结构化的测量环境,并且通过扩展卡尔曼滤波将过去时刻历史累计测量数据对柔性机器人后续运动过程的影响增加到测量结果中,得到补偿后的修正的位姿信息,具有较高的计算精度,无需增加硬件成本,只需一个相机就能获取位姿信息,降低了测量系统的成本,提高了位姿测量的准确性。

Description

柔性机器人位姿测量方法及装置
技术领域
本发明涉及机器人视觉测量的领域,尤其是一种柔性机器人位姿测量方法及装置。
背景技术
如今对车辆、飞机等交通工具进行自主快速充电已成为研究的热点,智能充电机器人通过机械臂的运动识别车辆飞机等设备的充电头,是近年来工业制造领域的一个新兴方向,其主要利用基于视觉的自主识别和位姿测量方法来完成智能自主充电任务。
为了完成智能自主充电任务,首先要解决的技术难点是:充电头的精准识别与精确测量问题。但是由于待充电的测量目标处在非结构化的环境中,且充电头距离机器人比较远,导致充电头的识别与测量有困难。而且以往常采用刚性臂进行充电头测量,其运动空间受限且运动灵活性差,不适合于非结构化的环境,此外,主要通过提高摄像机的光学分辨率来提高测量的精度,虽然使用高分辨率相机和性能更好的硬件系统可以在一定程度上提高位姿测量的准确性,但是这种方式增加了系统成本以及软件操作负担,不符合智能快速充电机器人低成本、高精度测量的要求。
因此需要提出一种能够增大充电机器人的工作空间,以提高机器人运动的灵活性以及位姿测量算法的准确性,在保证测量稳定性的前提下,提高充电对接精度的同时降低位姿测量成本的一种柔性机器人位姿测量方法是很有必要的。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的是为了解决现有的智能充电机器人运动空间受限、运动灵活性差且不适合于非结构化的环境的问题,以及如何在保证测量稳定性的前提下,提高充电对接精度的同时降低位姿测量成本,从而提供一种能够提高精度、节省成本的柔性机器人位姿测量方法和装置。
本发明实施例所采用的技术方案是:
第一方面,本发明实施例提供一种柔性机器人位姿测量方法,包括:
获取充电头图像:通过柔性机器人末端执行器上的视觉测量设备采集充电头图像,所述充电头图像中包括多个圆面;
充电头图像椭圆拟合:根据最小二乘椭圆拟合方法对所述圆面进行椭圆拟合,得到多个椭圆;
获取初始位姿信息:对任意两个所述椭圆进行位姿求解,得到多组参考位姿信息,根据约束条件选择有效参考位姿信息,并根据所述有效参考位姿信息得到所述柔性机器人的初始位姿信息;
获取相对位姿信息:进行多次采集测量,得到多组所述初始位姿信息,进行扩展卡尔曼滤波建模,得到所述柔性机器人末端执行器与所述充电头的相对位姿信息;
获取柔性机器人关节角度数据:获取位姿偏差,根据所述位姿偏差计算所述柔性机器人末端执行器的期望速度,并根据所述期望速度获得所述柔性机器人每个关节的角度数据。
进一步地,还包括对接充电头:
判断所述位姿偏差的值是否大于预设容错阈值;
当所述位姿偏差的值小于所述预设容错阈值时,根据所述每个关节的角度数据,对接所述柔性机器人和所述充电头;
当所述位姿偏差的值大于所述预设容错阈值时,调整所述末端执行器的位姿,重新计算调整后位姿偏差,直至所述调整后位姿偏差的值小于所述预设容错阈值,对接所述柔性机器人和所述充电头。
进一步地,所述位姿偏差包括:位置偏差和姿态偏差,对应的预设容错阈值包括位置容错阈值和姿态容错阈值。
进一步地,所述获取充电头图像包括:获取模板图像,根据模板匹配算法对所述充电头图像进行模板匹配,以得到有效的充电头图像。
进一步地,所述位姿求解包括:根据空间圆的成像原理,选取组成所述椭圆的两个圆面的圆心,分别计算其在视觉测量设备坐标系下的三维位置和法向量以作为参考位姿信息;
所述约束条件为:两个圆面的法向量夹角最小且两个圆心之间的距离最小。
进一步地,所述获取位姿偏差包括:
根据所述相对位姿信息构建充电头参考坐标系;
获取所述充电头和所述末端执行器基于惯性坐标系的旋转矩阵,根据所述旋转矩阵获得所述位置偏差和所述姿态偏差。
第二方面,本发明还提供一种柔性机器人位姿测量装置,包括:
获取充电头图像模块:用于通过柔性机器人末端执行器上的视觉测量设备采集充电头图像,所述充电头图像中包括多个圆面;
充电头图像椭圆拟合模块:用于根根据最小二乘椭圆拟合方法对所述圆面进行椭圆拟合,得到多个椭圆;
获取初始位姿信息模块:对任意两个所述椭圆进行位姿求解,得到多组参考位姿信息,根据约束条件选择有效参考位姿信息,并根据所述有效参考位姿信息得到所述柔性机器人的初始位姿信息;
获取相对位姿信息模块:用于进行多次采集测量,得到多组所述有效参考位姿信息,进行扩展卡尔曼滤波建模,得到所述柔性机器人末端执行器与所述充电头的相对位姿信息;
获取柔性机器人关节角度数据模块:用于获取位姿偏差,根据所述位姿偏差计算柔性机器人末端执行器的期望速度,并根据所述期望速度获得所述柔性机器人每个关节的角度数据;
对接充电头模块:用于判断所述位姿偏差的值与预设容错阈值的大小,并根据判断结果对接所述柔性机器人和所述充电头。
第三方面,本发明还提供一种柔性机器人,包括:柔性机器人本体、视觉测量设备和充电头对接装置,用于根据第一方面任一项所述的一种柔性机器人位姿测量方法进行位姿测量。
第四方面,本发明还提供一种柔性机器人位姿测量设备,包括:
至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;
其中,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如第一方面任一项所述的方法。
第五方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。
本发明实施例的有益效果是:
本发明实施例通过柔性机器人获取充电头图像,并对充电头图像进行椭圆拟合,进而获取参考位姿信息,并根据约束条件选择有效参考位姿信息,得到初始位姿信息,经过进行多次采集测量,对测量数据进行扩展卡尔曼滤波,从而得到柔性机器人与充电头的相对位姿信息,并根据该相对位姿信息计算机械臂末端的期望速度,进而规划柔性机器人各关节的运动,实现精确对准充电头的效果,通过引入柔性机器人,增大了充电机器人的工作空间并提高了其运动灵活性,并且其多自由度的冗余性非常适合于非结构化的测量环境,并且通过扩展卡尔曼滤波将过去时刻历史累计测量数据对柔性机器人后续运动过程的影响增加到测量结果中,得到补偿后的修正的位姿信息,具有较高的计算精度,无需增加硬件成本,只需要一个相机就能获取位姿信息,降低了测量系统的成本,提高了位姿测量的准确性,能够广泛应用于充电头视觉测量的技术领域。
附图说明
图1是本发明柔性机器人的一具体实施例的示意图;
图2是本发明中柔性机器人位姿测量方法的一具体实施例的实现流程图;
图3是本发明中柔性机器人位姿测量方法的一具体实施例的模板匹配示意图;
图4是本发明中柔性机器人位姿测量方法的一具体实施例的坐标转换示意图;
图5是本发明中柔性机器人位姿测量方法的一具体实施例的相对位姿信息获取示意图;
图6是本发明中柔性机器人位姿测量方法的一具体实施例的具体流程图;
图7是本发明中柔性机器人位姿测量装置的一具体实施例的结构框图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
实施例一:
本实施例提供了一种柔性机器人,如图1所示,为本实施例的柔性机器人示意图,从图中可见,本实施例的柔性机器人包括柔性机器人本体、视觉测量设备3和柔性机器人末端执行器4,柔性机器人本体包括基座1和柔性机械臂2,本实施例中,柔性机器人末端执行器为充电头对接装置,即充电插座,视觉测量设备可选的为单目相机,用于采集目标物5的视觉测量图像,凡是能够实现该功能的视觉测量设备均在本实施例的保护范围之内。
本实施例通过引入柔性机器人,解决现有的智能充电机器人运动空间受限、运动灵活性差且不适合于非结构化的环境的问题,增大了充电机器人的工作空间并提高了其运动灵活性,并且其多自由度的冗余性非常适合于非结构化的测量环境。
本实施例的柔性机器人,用于根据本发明实施例二的一种柔性机器人位姿测量方法进行位姿测量。
实施例二:
本发明实施例二提供一种柔性机器人位姿测量方法,图2为本发明实施例提供的一种柔性机器人位姿测量方法的实现流程图,如图2所示,该方法可以包括以下步骤:
S1:获取充电头图像:通过柔性机器人末端执行器上的视觉测量设备采集充电头图像,如图1中所示目标物,即充电头的外形特点可以看出,其表面具有六个共面圆柱体,因此本实施例中充电头图像中包括多个圆形横截面,即本实施例中的圆面。
采集到的充电头图像后,获取模板图像,再根据模板匹配算法对采集的充电头图像进行模板匹配,以得到有效的充电头图像。进行模板匹配的目的主要是为了提高视觉检测的速度和准确性,其将特征提取限制在检测到的充电端口区域可以有效地消除该区域外部因素的干扰。
S2:充电头图像椭圆拟合:根据最小二乘椭圆拟合方法对圆面进行椭圆拟合,即利用最小二乘椭圆提取算法,计算出的描述椭圆的五个参数分别为长短半轴(a0,b0)、中心坐标(x0,y0)以及椭圆的偏转角θ0,本实施例中,有6个圆面,因此可以得到6个椭圆。
S3:获取初始位姿信息:对任意两个椭圆进行位姿求解,得到多组参考位姿信息,根据约束条件选择有效参考位姿信息,并根据有效参考位姿信息得到柔性机器人的初始位姿信息。本实施例中,位姿求解指:根据空间圆的成像原理,选取组成椭圆的两个圆面的圆心,分别计算其在视觉测量设备坐标系下的三维位置和法向量,作为参考位姿信息,约束条件为:两个圆面的法向量夹角最小且两个圆心之间的距离最小。
S4:获取相对位姿信息:进行多次采集测量,得到多组初始位姿信息,进行扩展卡尔曼滤波建模,得到柔性机器人末端执行器与充电头的相对位姿信息,本实施例中进行扩展卡尔曼滤波通过过去时刻累计的测量值误差变化规律,补偿当前状态的测量值,这可以提高目标位姿测量的准确性和可靠性。
S5:获取柔性机器人关节角度数据:获取位姿偏差,根据位姿偏差计算柔性机器人末端执行器的期望速度,并根据期望速度获得柔性机器人每个关节的角度数据。位姿偏差包括:位置偏差和姿态偏差。
本实施例中,获取位姿偏差包括:根据相对位姿信息构建充电头参考坐标系,获取充电头和柔性机器人的末端执行器基于惯性坐标系的旋转矩阵,根据旋转矩阵获得位置偏差和姿态偏差。
S6:对接充电头:判断位姿偏差的值与预设容错阈值的大小,与位姿偏差对应,预设容错阈值包括位置容错阈值和姿态容错阈值。
当位姿偏差的值均小于预设容错阈值时,根据每个关节的角度数据,对接柔性机器人和充电头;当位姿偏差的值均大于预设容错阈值时,调整末端执行器的位姿,根据计算位姿偏差的方法重新计算调整后位姿偏差,直至调整后位姿偏差的值均小于预设容错阈值后,对接柔性机器人和充电头。
步骤S2中的模板匹配的具体过程如下所述。
本实施例中,可选的,首先通过灰度变换和中值滤波算法等图像处理方式,对相机获取的原始图像进行图像增强操作,便于后续处理。为了提高视觉检测的速度和准确性,将特征提取限制在检测到的充电头区域,可以有效地消除该区域外部环境因素的干扰,为了分离充电头部分和环境部分,需要通过模板匹配算法对需要识别的有效目标区域(充电头区域)进行划分。
本实施例的一种实施方式中,创建n×n模板图像,并在模板图像的XY方向上提取其边缘梯度以及2维坐标信息,并通过Sobel梯度算子计算采集的充电头图像的梯度,通过相似性度量将模板图像与采集的充电头图像进行逐点比较,得到充电头图像与模板的相似度最高的位置。进而,根据相似度比较结果,得到匹配后的充电头图像的局部有效像素点,将所有局部有效像素点的集合作为目标搜索区域。
公式表示如下:
Figure BDA0002041881920000061
tPi=[txi,tyi]T (2)
Figure BDA0002041881920000062
Figure BDA0002041881920000063
其中,tGi表示模板图像的边缘梯度,
Figure BDA0002041881920000064
表示模板图像X方向上边缘梯度,
Figure BDA0002041881920000065
表示模板图像Y方向上边缘梯度,tPi表示模板图像中像素点的2维坐标,sGu,v表示充电头图像的梯度,
Figure BDA0002041881920000071
表示充电头图像X方向上边缘梯度,
Figure BDA0002041881920000072
表示充电头图像Y方向上边缘梯度,H表示充电头图像的X方向上像素数,V表示充电头图像的Y方向上像素数,Su,v表示点(u,v)的相似度。
如图3所示,为本实施例中模板匹配示意图,图中可以看出,经过模板匹配,从环境中提取到了充电头区域。从充电头的外形特点可以看出,六个共面圆柱体之间的相对距离是已知的,并且圆面的中心由这些圆柱体的交点和表面形成。充电端口记为P1~P6,其中心记为o1~o6,充电端口在成像平面的图像坐标系中的成像点记为ABCDEF。
步骤S2中进行充电头图像椭圆拟合的过程为:选取一个圆面,利用最小二乘椭圆提取算法拟合出椭圆,描述椭圆的五个参数分别为长短半轴(a0,b0)、中心坐标(x0,y0)以及椭圆的偏转角θ0,并根据拟合得到椭圆计算其标准椭圆方程。
如图4所示,为本实施例的坐标转换示意图,下面根据图中所示详细描述步骤S3中获取初始位姿信息的具体过程,初始位姿信息包括:三维位置矢量和姿态旋转矩阵。
为了便于表达,建立目标对接参考坐标系tg(Otg-XtgYtgZtg),该坐标系的原点为充电头图像的一个边缘顶点,以充电头图像中第一个圆心o1建立目标参考坐标系ref(Oref-XrefYrefZref),根据空间圆的成像原理,计算选取的椭圆对应的目标圆面的圆心在相机坐标系OC-XCYCZC下的三维位置和法向量,将其作为参考位姿信息,记为
Figure BDA0002041881920000073
其在相机坐标系下描述为:
Figure BDA0002041881920000074
Figure BDA0002041881920000075
其中,λ1、λ2与λ3是标准椭圆方程系数矩阵的特征值,Po是与特征值对应特征向量的姿态变换矩阵,Ro是目标圆的半径。
由于法向量有两个解,导致参考位姿信息的解具有二义性,因此选取两个椭圆进行计算会得到四对解,为了去除虚拟解,需要添加适当的约束。本实施例以o1o2这两个圆面构成的椭圆为例,获得的参考位姿信息包括:
Figure BDA0002041881920000081
分别表示第一个椭圆的第一组解、第一个椭圆的第二组解、第二个椭圆的第一组解和第二个椭圆的第二组解。为了获得目标椭圆的法向量,根据约束条件来进行适当的约束,本实施例中,可选的,通过相机在两个目标椭圆的法向量夹角ψo最小且两个目标椭圆圆心之间的距离κo最小来衡量,约束条件表示为:
Figure BDA0002041881920000082
Figure BDA0002041881920000083
Figure BDA0002041881920000084
其中,
Figure BDA0002041881920000085
表示两个圆心之间的欧拉距离,根据约束条件约束后得到的有效位姿信息表示为:
Figure BDA0002041881920000086
即第i个圆心参考位姿信息(即三维位置与法向量)以及第j个圆心参考位姿信息。
假设经过约束条件选择之后,目标参考坐标系ref的三维位置矢量为
Figure BDA0002041881920000087
其在三个轴的位姿
Figure BDA0002041881920000088
由下面的公式来确定,即有:
Figure BDA0002041881920000089
Figure BDA00020418819200000810
Figure BDA00020418819200000811
满足条件:
Figure BDA00020418819200000812
其中,根据图4中示意图可得出:
Figure BDA00020418819200000813
Figure BDA0002041881920000091
Figure BDA0002041881920000092
根据上述公式(11)可以确定
Figure BDA0002041881920000093
进一步地,可以确定
Figure BDA0002041881920000094
即确定目标参考坐标系ref相对于相机参考系的位姿。
另外,可以表示出目标参考坐标系ref相对于相机坐标系的齐次变换矩阵,表示如下:
Figure BDA0002041881920000095
因此,可以推出目标对接坐标系tg相对于相机坐标系的变换关系,表示如下:
Figure BDA0002041881920000096
其中,refRtg表示目标参考坐标系ref到目标对接坐标系tg的旋转矩阵,refttg表示目标参考坐标系ref到目标对接坐标系tg的平移向量。
通过上述变换,可以相应得出,目标对接坐标系上充电头参考点在相机坐标系下的三维位置矢量表示为cPtg,以及目标对接坐标系tg相对于相机坐标系的旋转矩阵表示为cRtg,即得到初始位姿信息中的三维位置矢量和姿态旋转矩阵。
对于静止的合作目标,当柔性机器人末端执行器靠近充电头时,可以通过过去时刻累计的测量值误差变化规律去补偿当前状态的测量值,即通过扩展卡尔曼滤波提高目标位姿测量的准确性和可靠性。步骤S4中:进行多次采集测量获得柔性机器人末端执行器相对于目标充电头的目标参考坐标系在不同距离下的多组初始位姿信息,记为{X(k)},将其作为扩展卡尔曼滤波(EKF)模型的输入,输出为更新后的相对位姿信息,记为
Figure BDA0002041881920000097
如图5所示,为本实施例的相对位姿信息获取示意图,从图中可见初始位姿信息测量值X(k)=[cptg,cRtg]经过扩展卡尔曼滤波之后,卡尔曼滤波器通过估计历史状态来补偿下一状态,提高测量的的准确性,得到更新的测量值
Figure BDA0002041881920000098
即相对位姿信息。
传统的EKF估计方法是已知的状态转移矩阵和观测矩阵,因此很容易建立状态方程和观测方程来估计预设的状态量。本实施例中,由于不同距离的位姿离散数据没有准确的状态方程,目标的状态转移矩阵只能从历史离散数据中进行估算得到。
本实施例中,假设目标的状态方程为:
X=[xt,yt,ztxyz]T (19)
状态方程表示为:
X(k+1)=Φ(k+1,k)X(k)+Wk (20)
其中,Φ(k+1,k)是状态变换矩阵,Wk是系统噪声,通常是平均值为零、方差为Qk的白噪声。
根据实际的初始状态信息测量值,第m个变量Xm的最小值是Xm,min,最大值是Xm,max,将最小间隔[Xm,min,Xm,max]被分成Xm,min,…,Xm,min+i·ΔXm,…,Xm,max,ΔXm为设定的间隔,因此,对于任意的初始状态信息测量值Xm,min+i·ΔXm,可以在下一时刻搜索所有点集得到:
Figure BDA0002041881920000101
上述Xm,j的概率分布由离散的数据集来确定,其下一时刻的初始状态信息预测值可表示为:
Figure BDA0002041881920000102
因此,下一刻的初始状态信息预测值可表示为:
Xm(k+1)=β01xm,i+…+β1xm,pm,j (23)
根据线性回归方法,Φm(k+1,k)、Xm(k)和Xm(k+1)之间的关系可表示为:
Xm(k+1)=Xm(k)Φm(k+1,k)+ξm (24)
其中,观测值Xm(k+1)是列向量,ξm为包括未观测到的随机分量,回归量的常数观测矩阵Xm(k)为:
Figure BDA0002041881920000103
根据最小二乘法,状态向量可以通过以下方式获得:
Figure BDA0002041881920000104
因此,整个系统的状态转换矩阵表示为:
Figure BDA0002041881920000111
进一步地,观测变量的定义如下:
h(X)=[xr,yr,zrrrr]T (28)
因此,观测方程可写为:
Figure BDA0002041881920000112
其中,H(k+1)是观测矩阵,Vk是系统的测量噪声,本实施例中,测量噪声是平均值为零、方差为Rk的白噪声。
本实施例中,基于上述EKF的估计方法,校正后的初始位姿信息,即相对位姿信息,表示为:三维位置矢量
Figure BDA0002041881920000113
与姿态旋转矩阵
Figure BDA0002041881920000114
本实施例中,柔性机器人末端执行器为充电插座,获得相对位姿信息之后,进行充电头对接充电插座(即柔性机器人的末端执行器),在对接过程中,相机用于实时测量充电头相对于末端执行器的相对位姿信息,在获得充电头上参考点的坐标
Figure BDA0002041881920000115
之后,即可根据相对位姿信息建立充电头的目标对接坐标系tg,参考点为充电头上的测量点,即充电头上圆面的圆心。假设充电头目标对接坐标系tg和末端执行器的相机坐标系,相对于大地惯性坐标系的旋转矩阵分别是:Rt和Re,表示为
Figure BDA0002041881920000116
Figure BDA0002041881920000117
假设充电头参考点在相机坐标系下的三维位置矢量为cPtg,相机坐标系相对于柔性机械臂末端的转换矩阵与平移向量分别为eRc,epc
待对接的充电头相对于末端执行器的位姿偏差包括:位置偏差记为ΔPet和姿态偏差记为
Figure BDA0002041881920000118
可分别表示为:
Figure BDA0002041881920000119
Figure BDA00020418819200001110
因此,可以根据位姿偏差计算柔性机器人末端执行器的期望速度,并根据期望速度获得柔性机器人每个关节的角度数据,具体计算公式如下所述:
柔性机械臂末端的速度表示为:
Figure BDA0002041881920000121
其中,Kp是比例参数,Kp是增益矩阵,本实施例中其为单位矩阵。
进一步地,通过速度级逆运动学方程可以确定柔性机器人的关节角速度为:
Figure BDA0002041881920000122
其中,Jg是雅可比矩阵,
Figure BDA0002041881920000123
表示雅可比矩阵的逆。
因此,可以通过柔性机器人的关节角速度的数值积分来获得任意时刻的关节角度:
Figure BDA0002041881920000124
步骤S6中,根据上述位姿偏差的值来对接充电头,具体是:判断位姿偏差的值与预设容错阈值的大小,当位姿偏差的值小于预设容错阈值时,即满足||ΔPet||>δp,||Δψet||>δθ,其中||ΔPet||是位置偏差的值,
Figure BDA0002041881920000125
是姿态偏差的值,δp是位置容错阈值,δθ是姿态容错阈值,根据公式(34)的关节角度对接柔性机器人的充电插座和充电头,对充电头进行充电。
当位姿偏差的值大于预设容错阈值时,即说明充电插头需要调整位置以更精确的对准充电头,因此调整柔性机器人末端执行器的位姿,并根据本实施例的计算位姿偏差的方法重新计算调整后位姿偏差,直至调整后位姿偏差的值满足小于预设容错阈值的条件,达到对接标准,从而进行柔性机器人和充电头的对接。
如图6所示,为本实施例的一种柔性机器人位姿测量方法具体流程图,从图中可见包括流程:
1)获取初始充电头图像,并对其进行图像增强处理;
2)进行图像模板匹配,提取出充电口区域;
3)进行椭圆检测,并提取椭圆参数;
4)根据任意一组椭圆参数计算充电口的初始位姿信息;
5)利用扩展卡尔曼滤波模型获得相对位姿信息;
6)根据位姿偏差与预设容错阈值的大小关系规划柔性机械臂的运动,包括对接充电头和调整柔性机械臂姿态后对接充电头。
本实施例中,通过引入柔性机器人,增大了充电机器人的工作空间并提高了其运动灵活性,并且其多自由度的冗余性非常适合于非结构化的测量环境,并且通过扩展卡尔曼滤波将过去时刻历史累计测量数据对柔性机器人后续运动过程的影响增加到测量结果中,得到补偿后的修正的位姿信息,具有较高的计算精度,无需增加硬件成本,只需要一个相机就能获取位姿信息,降低了测量系统的成本,提高了位姿测量的准确性。
实施例三:
如图7所示,为本实施例提供的一种柔性机器人位姿测量装置结构框图,包括:
获取充电头图像模块:用于通过柔性机器人末端执行器上的视觉测量设备采集充电头图像,充电头图像中包括多个圆面,该圆面为充电头上圆柱体的横截面。
充电头图像椭圆拟合模块:用于根据最小二乘椭圆拟合方法对圆面进行椭圆拟合,得到多个椭圆。
获取初始位姿信息模块:对任意两个椭圆进行位姿求解,得到多组参考位姿信息,根据约束条件选择有效参考位姿信息,并根据有效参考位姿信息得到柔性机器人的初始位姿信息。
获取相对位姿信息模块:用于进行多次采集测量,得到多组有效参考位姿信息,进行扩展卡尔曼滤波建模,得到柔性机器人末端执行器与充电头的相对位姿信息。
获取柔性机器人关节角度数据模块:用于获取位姿偏差,根据位姿偏差计算柔性机器人末端执行器的期望速度,并根据期望速度获得柔性机器人每个关节的角度数据。
对接充电头模块:用于判断位姿偏差的值与预设容错阈值的大小,并根据判断结果对接柔性机器人和充电头。
另外,本发明还提供一种柔性机器人位姿测量设备,包括:
至少一个处理器,以及与所述至少一个处理器通信连接的存储器;
其中,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如实施例二所述的方法。
另外,本发明还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,其中计算机可执行指令用于使计算机执行如实施例二所述的方法。
本发明通过柔性机器人获取充电头图像,并对充电头图像进行椭圆拟合,进而获取参考位姿信息,并根据约束条件选择有效参考位姿信息,得到初始位姿信息,经过进行多次采集测量,对测量数据进行扩展卡尔曼滤波,从而得到柔性机器人与充电头的相对位姿信息,并根据该相对位姿信息计算机械臂末端的期望速度,进而规划柔性机器人各关节的运动,实现精确对准充电头的效果,能够广泛应用于充电头视觉测量的技术领域。
以上各实施例仅用以说明本发明的技术方案,而非对其限制,尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种柔性机器人位姿测量方法,其特征在于,包括:
获取充电头图像:通过柔性机器人末端执行器上的视觉测量设备采集充电头图像,所述充电头图像中包括多个圆面;
充电头图像椭圆拟合:根据最小二乘椭圆拟合方法对所述圆面进行椭圆拟合,得到多个椭圆;
获取初始位姿信息:对任意两个所述椭圆进行位姿求解,得到多组参考位姿信息,根据约束条件选择有效参考位姿信息,并根据所述有效参考位姿信息得到所述柔性机器人的初始位姿信息;
获取相对位姿信息:进行多次采集测量,得到多组所述初始位姿信息,进行扩展卡尔曼滤波建模,得到所述柔性机器人末端执行器与所述充电头的相对位姿信息;
获取柔性机器人关节角度数据:获取位姿偏差,根据所述位姿偏差计算所述柔性机器人末端执行器的期望速度,并根据所述期望速度获得所述柔性机器人每个关节的角度数据。
2.根据权利要求1所述的一种柔性机器人位姿测量方法,其特征在于,还包括对接充电头:
判断所述位姿偏差的值是否大于预设容错阈值;
当所述位姿偏差的值小于所述预设容错阈值时,根据所述每个关节的角度数据,对接所述柔性机器人和所述充电头;
当所述位姿偏差的值大于所述预设容错阈值时,调整所述末端执行器的位姿,重新计算调整后位姿偏差,直至所述调整后位姿偏差的值小于所述预设容错阈值,对接所述柔性机器人和所述充电头。
3.根据权利要求2所述的一种柔性机器人位姿测量方法,其特征在于,所述位姿偏差包括:位置偏差和姿态偏差,对应的预设容错阈值包括位置容错阈值和姿态容错阈值。
4.根据权利要求1所述的一种柔性机器人位姿测量方法,其特征在于,所述获取充电头图像包括:获取模板图像,根据模板匹配算法对所述充电头图像进行模板匹配,以得到有效的充电头图像。
5.根据权利要求1所述的一种柔性机器人位姿测量方法,其特征在于,所述位姿求解包括:根据空间圆的成像原理,选取组成所述椭圆的两个圆面的圆心,分别计算其在视觉测量设备坐标系下的三维位置和法向量以作为参考位姿信息;
所述约束条件为:两个圆面的法向量夹角最小且两个圆心之间的距离最小。
6.根据权利要求3所述的一种柔性机器人位姿测量方法,其特征在于,所述获取位姿偏差包括:
根据所述相对位姿信息构建充电头参考坐标系;
获取所述充电头和所述末端执行器基于惯性坐标系的旋转矩阵,根据所述旋转矩阵获得所述位置偏差和所述姿态偏差。
7.一种柔性机器人位姿测量装置,其特征在于,包括:
获取充电头图像模块:用于通过柔性机器人末端执行器上的视觉测量设备采集充电头图像,所述充电头图像中包括多个圆面;
充电头图像椭圆拟合模块:用于根根据最小二乘椭圆拟合方法对所述圆面进行椭圆拟合,得到多个椭圆;
获取初始位姿信息模块:对任意两个所述椭圆进行位姿求解,得到多组参考位姿信息,根据约束条件选择有效参考位姿信息,并根据所述有效参考位姿信息得到所述柔性机器人的初始位姿信息;
获取相对位姿信息模块:用于进行多次采集测量,得到多组所述有效参考位姿信息,进行扩展卡尔曼滤波建模,得到所述柔性机器人末端执行器与所述充电头的相对位姿信息;
获取柔性机器人关节角度数据模块:用于获取位姿偏差,根据所述位姿偏差计算柔性机器人末端执行器的期望速度,并根据所述期望速度获得所述柔性机器人每个关节的角度数据;
对接充电头模块:用于判断所述位姿偏差的值与预设容错阈值的大小,并根据判断结果对接所述柔性机器人和所述充电头。
8.一种柔性机器人,其特征在于,包括:柔性机器人本体、视觉测量设备和充电头对接装置,用于根据权利要求1至6任一项所述的一种柔性机器人位姿测量方法进行位姿测量。
9.一种柔性机器人位姿测量设备,其特征在于,包括:
至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;
其中,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的方法。
CN201910344594.0A 2019-04-26 2019-04-26 柔性机器人位姿测量方法及装置 Active CN110116407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910344594.0A CN110116407B (zh) 2019-04-26 2019-04-26 柔性机器人位姿测量方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910344594.0A CN110116407B (zh) 2019-04-26 2019-04-26 柔性机器人位姿测量方法及装置

Publications (2)

Publication Number Publication Date
CN110116407A CN110116407A (zh) 2019-08-13
CN110116407B true CN110116407B (zh) 2021-03-30

Family

ID=67521471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910344594.0A Active CN110116407B (zh) 2019-04-26 2019-04-26 柔性机器人位姿测量方法及装置

Country Status (1)

Country Link
CN (1) CN110116407B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112406608B (zh) * 2019-08-23 2022-06-21 国创移动能源创新中心(江苏)有限公司 充电桩及其自动充电装置和方法
CN110464469B (zh) * 2019-09-10 2020-12-01 深圳市精锋医疗科技有限公司 手术机器人及末端器械的控制方法、控制装置、存储介质
CN110722561A (zh) * 2019-10-25 2020-01-24 北京华商三优新能源科技有限公司 一种全自动充电机器人控制方法及装置
CN111222225B (zh) * 2019-12-20 2023-08-29 浙江欣奕华智能科技有限公司 一种机器人中传感器位姿的确定方法及装置
CN111238367B (zh) * 2020-01-13 2021-04-02 清华大学深圳国际研究生院 一种绳驱机械臂三维臂型测量方法及装置
CN111625005A (zh) * 2020-06-10 2020-09-04 浙江欣奕华智能科技有限公司 一种机器人充电方法、机器人充电的控制装置及存储介质
CN112183133B (zh) * 2020-08-28 2022-05-31 同济大学 一种基于ArUco码引导的移动机器人自主充电方法
CN112344914A (zh) * 2020-10-30 2021-02-09 哈尔滨工业大学(深圳) 基于柔性臂手眼相机的自适应视觉测量方法及系统
CN112781498B (zh) * 2021-02-09 2022-07-08 南京景曜智能科技有限公司 一种机器人执行器位姿重复精度测量方法和装置
CN112975929A (zh) * 2021-03-05 2021-06-18 深圳市华艺鑫电子有限公司 基于多特征融合的客机充电插座识别定位对接系统与方法
CN112862812B (zh) * 2021-03-10 2023-04-07 中山大学 一种柔性机器人的操作空间轨迹优化方法、系统及装置
CN113172659B (zh) * 2021-04-22 2023-06-09 哈尔滨工业大学(深圳) 基于等效中心点识别的柔性机器人臂形测量方法及系统
CN113479405B (zh) * 2021-07-19 2023-03-28 合肥哈工龙延智能装备有限公司 一种高速装盒机平稳打开纸盒的控制方法
CN113959359B (zh) * 2021-10-28 2024-01-26 清华大学深圳国际研究生院 一种管道状连续机器人的形状测量装置和方法
CN113804222B (zh) * 2021-11-16 2022-03-04 浙江欣奕华智能科技有限公司 一种定位精度的测试方法、装置、设备及存储介质
CN114043488A (zh) * 2021-12-06 2022-02-15 上海智能制造功能平台有限公司 一种多光刀视觉辅助的机器人检测系统示教自动纠偏方法
CN114274147B (zh) * 2022-02-10 2023-09-22 北京航空航天大学杭州创新研究院 目标跟踪控制方法及装置、机械臂控制设备和存储介质
CN114310915B (zh) * 2022-02-16 2022-09-09 哈尔滨工业大学 基于视觉反馈的空间机械臂对接末端工具轨迹规划方法
CN114675657B (zh) * 2022-05-25 2022-09-23 天津卡雷尔机器人技术有限公司 一种基于红外摄像头模糊控制算法回巢充电的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0243602A (ja) * 1988-08-04 1990-02-14 Fuji Heavy Ind Ltd ロボットの機械系誤差補正方法
CN107092264A (zh) * 2017-06-21 2017-08-25 北京理工大学 面向银行厅堂环境的服务机器人自主导航与自动充电方法
CN108453727A (zh) * 2018-01-11 2018-08-28 中国人民解放军63920部队 基于椭圆特征的机械臂末端位姿误差校正方法及系统
CN109048890A (zh) * 2018-07-13 2018-12-21 哈尔滨工业大学(深圳) 基于机器人的协调轨迹控制方法、系统、设备及存储介质
CN109102567A (zh) * 2018-10-11 2018-12-28 北京理工大学 一种基于重建误差最小化的位姿参数高精度求解方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0243602A (ja) * 1988-08-04 1990-02-14 Fuji Heavy Ind Ltd ロボットの機械系誤差補正方法
CN107092264A (zh) * 2017-06-21 2017-08-25 北京理工大学 面向银行厅堂环境的服务机器人自主导航与自动充电方法
CN108453727A (zh) * 2018-01-11 2018-08-28 中国人民解放军63920部队 基于椭圆特征的机械臂末端位姿误差校正方法及系统
CN109048890A (zh) * 2018-07-13 2018-12-21 哈尔滨工业大学(深圳) 基于机器人的协调轨迹控制方法、系统、设备及存储介质
CN109102567A (zh) * 2018-10-11 2018-12-28 北京理工大学 一种基于重建误差最小化的位姿参数高精度求解方法

Also Published As

Publication number Publication date
CN110116407A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN110116407B (zh) 柔性机器人位姿测量方法及装置
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
CN107862719B (zh) 相机外参的标定方法、装置、计算机设备和存储介质
Taylor et al. Robust vision-based pose control
JP5480667B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム
WO2019161517A1 (zh) 基于云端的轨迹地图生成方法、装置、设备及应用程序
CN112435262A (zh) 基于语义分割网络和多视图几何的动态环境信息检测方法
CN113910219A (zh) 运动臂系统以及控制方法
CN114474056B (zh) 一种面向抓取操作的单目视觉高精度目标定位方法
Olson et al. Wide-baseline stereo vision for Mars rovers
Ge et al. Online 3-D modeling of complex workpieces for the robotic spray painting with low-cost RGB-D cameras
CN117218210A (zh) 一种基于仿生眼的双目主动视觉半稠密深度估计方法
CN112504261A (zh) 一种基于视觉锚点的无人机降落位姿滤波估计方法及系统
CN112700505B (zh) 一种基于双目三维跟踪的手眼标定方法、设备及存储介质
Tahri et al. Efficient iterative pose estimation using an invariant to rotations
Goto et al. 3D environment measurement using binocular stereo and motion stereo by mobile robot with omnidirectional stereo camera
CN109459046B (zh) 悬浮式水下自主航行器的定位和导航方法
JP5462662B2 (ja) 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム
JP2778430B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
WO2020010625A1 (zh) 机器人运动学模型优化方法、系统和存储装置
Brandt et al. Controlled active exploration of uncalibrated environments
Cupec et al. Global localization based on 3d planar surface segments
CN110749327B (zh) 一种合作环境下的车辆导航方法
Hwang et al. Robust 2D map building with motion-free ICP algorithm for mobile robot navigation
Nickels et al. Weighting observations: The use of kinematic models in object tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant