CN110744541A - 一种视觉引导的水下机械臂控制方法 - Google Patents

一种视觉引导的水下机械臂控制方法 Download PDF

Info

Publication number
CN110744541A
CN110744541A CN201910950891.XA CN201910950891A CN110744541A CN 110744541 A CN110744541 A CN 110744541A CN 201910950891 A CN201910950891 A CN 201910950891A CN 110744541 A CN110744541 A CN 110744541A
Authority
CN
China
Prior art keywords
underwater
mechanical arm
target object
model
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910950891.XA
Other languages
English (en)
Inventor
魏延辉
贺佳林
李强强
马博也
牛家乐
刘东东
姜瑶瑶
蒋志龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201910950891.XA priority Critical patent/CN110744541A/zh
Publication of CN110744541A publication Critical patent/CN110744541A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1615Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Feedback Control In General (AREA)
  • Manipulator (AREA)

Abstract

一种视觉引导的水下机械臂控制方法,属于水下机械臂技术领域。本发明以水下机械臂的与运动学及动力学建模、水下机械臂标定技术的相关研究为基础,通过手眼标定方法,模仿生物视觉的手眼协调控制系统框架及视觉引导系统控制流程;通过单目视觉对目标物体进行定位、并采用二次成像对图像信息水下目标物进行信息估算,建立水下机械臂运动学和动力学模型,将终端滑模控制和自抗扰控制结合在一起,用分散控制思想,将复杂的机械臂系统进行解耦,介绍了一种六自由度水下机械臂关节控制器‑终端滑模自抗扰控制器。本发明为水下机械臂进行水下精确作业提供了解决方案,提升了水下机械臂自主作业能力,极大提高了水下作业的自动化水平。

Description

一种视觉引导的水下机械臂控制方法
技术领域
本发明属于水下机械臂技术领域,具体涉及一种视觉引导的水下机械臂控制方法。
背景技术
基于视觉引导的水下机械臂是水下机器人系统中的重要组成部分,在深海资源勘探和水下作业工程中发挥着不可或缺的作用,能够根据操作者的指令代替人进行水下极端环境作业,因此进行基于视觉引导的水下机械臂的研究具有重要的科学价值和实际工程意义。
为了水下机械臂能够承担多种水下任务,水下机械臂的控制规划问题是非常重要的研究内容,控制规划问题是视觉引导任务中最重要的环节之一,同时也是水下机械臂研究领域的一个重要分支。经过几十年来各国科研人员的不断努力,视觉引导的机械臂控制方法早已变成目前机械臂控制方向的研究热点与难点。目前主流的三种基于视觉引导的机械臂控制方法为:基于运动的视觉引导控制方法、基于学习的视觉引导控制方法、混合型视觉引导控制方法(2.5D视觉引导控制方法)。
第一种控制方法的思想是发挥学习训练方法的函数拟合能力,在宏观角度对机械臂手眼协调系统的非线性特性进行控制,基于以上两点思想建立图像信息闭环反馈控制律。但存在需要在控制之前进行大量的样本学习等缺点。第二种控制方法首先预设了参考运动的光流场,控制机械臂手眼系统运动到指定的位置,令相机图像的光流场与目标物体的光流场并行。该控制方法不需要大量的先验参数,但对控制帧率要求极高,对实验数据造成影响。第三种控制方法将相机的平动位移矩阵(V)与旋转矩阵(Ω)的闭环控制解耦,利用从目标物体中检测出的特征信息,重新模拟出三维空间坐标系下的位置与图像深度信息,平动位移采用2D空间坐标系上的特征点进行表征。但需要求解的单应矩阵的多次迭代十分繁琐,受图像噪声的影响更大等缺点。
本发明为水下机械臂进行水下精确作业提供了解决方案,提升了水下机械臂自主作业能力,极大提高了水下作业的自动化水平。
发明内容
本发明的目的在于提供一种视觉引导的水下机械臂控制方法,有效的增强控制系统的抗干扰能力,以应对复杂多变的海洋工作环境,实现基于视觉控制的水下机械臂控制。
本发明的目的是这样实现的:
一种视觉引导的水下机械臂控制方法,包括如下步骤:
步骤1:当水下机械臂处于初始位置,采用视觉引导方式控制水下机械臂运动,位于腕部的水下摄像机开始搜寻水下目标,确定水下目标物;
步骤2:确定水下目标物之后,通过视觉对水下目标物进行定位,确定本运动周期的水下机械臂末端位置点;
步骤3:建立水下机械臂的运动学模型,计算出本周期的机械臂各关节运动量,构造基于终端滑模的自抗扰控制器,驱动水下机械臂各关节运动;
步骤4:检测水下机械臂是否到达水下目标点,若没有到达目标点,重复步骤2和步骤3的运动过程,若到达则进行相应的水下机械抓取工作。
所述步骤1中视觉引导方式控制包括:
步骤1.1:通过水下机械臂手爪关节的相机获取水下目标物体P的特征信息,从已经构建的3D模型集合中随机抽取一个3D模型,采用外参数矩阵M验证方法选取与P的特征信息相匹配的3D模型;
步骤1.2:从3D模型中提取与P的特征匹配的全部几何特征,进而建构对目标位姿估算的特征集合;
步骤1.3:设P的图像特征的在计算机坐标系(opix-xpixypix)下的坐标为{(u0 v0),(u1 v1)······(ui vi)},(u0v0),(u1 v1)······(ui vi),代表水下目标物体P的i个几何特征的坐标;设与P匹配的3D模型在世界坐标系(Ow-XwYwZw)下的三维空间坐标为{(x0 y0 z0),(x1 y1 z1)······(xi yi zi)};
步骤1.4:根据摄像机成像几何模型的建立原理,求解摄像机的外参数矩阵M。
所述步骤1.1中外参数矩阵M验证方法吧包括:
步骤1.1.1:相机处于B时水下目标物体的外参数矩阵为
Figure BDA0002225757260000021
处于A时水下目标物体的外参数矩阵为M,则其中BRA为相机分别处于A、B两个位置时的转换矩阵;
步骤1.1.2:将与
Figure BDA0002225757260000023
相匹配的3D模型提取出来并进行计算,得到水下目标物体在计算机坐标系(opix-xpixypix)下的坐标;
步骤1.1.3:若通过相机采集目标物体所得到的外参数矩阵M与转换矩阵计算所得的外参数矩阵
Figure BDA0002225757260000024
对同一目标物体的估算结果一致,则认为3D模型匹配一致;若对同一目标物体的估算结果不一致,则认为3D模型匹配不合理;
步骤1.1.4:若3D模型匹配不合理,则需要重新构建3D模型集合或继续在当前集合中寻找新的3D模型进行水下目标物体匹配工作,重复步骤1.1.1、步骤1.1.2和步骤1.1.3的直至满足要求为止。
所述步骤2中通过视觉对水下目标物进行定位首先定义水下目标物体为一球体P,P的半径为r,P的坐标为(u0,v0),计算球体P的位姿信息
Figure BDA0002225757260000031
其中相机从ZC移动到ΔZC采集P的图像信息,获取m及n帧图像时相机的坐标分别为(Xm,Ym,Zm)及(Xn,Yn,Zn),P的半径分别为rm及rn,令Δr'=rm-rn表示从m帧到n帧图像球体P的半径变化;然后计算的P估算半径式中,ΔZC和Δr'的取值决定于相机所在位置,k表示比例常数;最后将此时球体P的估算半径r作为先验知识保存下来,利用现有的目标物体信息已知的算法实现对水下目标物的定位工作。
所述的步骤3中建立水下机械臂的运动学模型具体为:
六自由度水下机械臂的矩阵形式的动力学方程为:
Figure BDA0002225757260000033
其中,Mm(q)为惯性力矩阵;
Figure BDA0002225757260000034
为哥氏力及向心力阵;
Figure BDA0002225757260000035
为阻尼力矩阵;Gm(q)为恢复力矩阵;τm为驱动力矩阵;将水下机械臂的每一个关节模块定义为一个独立的子系统,并将局部变量
Figure BDA0002225757260000036
进行分离,得到水下机械臂的动力学模型为:
Figure BDA0002225757260000037
其中qi,
Figure BDA0002225757260000038
Figure BDA0002225757260000039
Gi(qi)、τi分别为向量q,
Figure BDA00022257572600000310
Figure BDA00022257572600000311
G(q)、τ的第i个分量,i=1,2,......,n;τd为水下机械臂关节所受到外界的扰动;
Figure BDA00022257572600000313
为第i个关节的总耦合项,表达式为:
Figure BDA0002225757260000041
所述步骤3中构造基于终端滑模的自抗扰控制器为对于包含扩张状态观测器(ESO)的水下机械臂第i个关节的控制器
Figure BDA0002225757260000042
其中
Figure BDA0002225757260000043
为关节子系统的跟踪误差,z3为W(t)的估计值,F(xii)=f(xii)+biτi+biτd
Figure BDA0002225757260000044
sat(si/Φ)为饱和函数
Figure BDA0002225757260000045
其中Φ为边界层厚度。
本发明有益效果在于:
(1)本发明采用视觉引导反馈引导,提高了机械臂操作精度;采用二次成像对水下目标物图像信息进行信息估算,提高了图像信息精度;
(2)本发明提高水下机械臂自主作业能力,增强系统作业的稳定性和可靠性;
(3)本发明采用分散控制思想,解决了水下机械臂的耦合问题,降低控制器控制设计难度,起到提高控制的效果;
(4)本发明采用终端滑模控制自抗扰控制器作为机械臂关节控制器,提高系统抵抗外干扰能力,提高了控制系统的鲁棒性;
(5)本发明采用饱和函数sat(si/Φ)取代符号函数sgn(si)降低抖振,使得控制输出更加平缓,从而起到减轻磨损,延长电机寿命。
附图说明
图1为本发明总体流程图。
图2为视觉引导运动控制机制的机械臂手眼协调示意图。
图3为视觉引导水下机械臂系统控制流程图。
图4为二次成像法示意图。
图5为单关节系统滑模自抗扰控制器原理图。
图6为六自由度水下机械臂系统结构示意图。
图7为施加正弦规律干扰-角度跟踪曲线图。
图8为施加随机噪声干扰-角度跟踪曲线图。
图9为施加正弦规律干扰-角度跟踪误差曲线图。
图10为施加随机噪声干扰-角度跟踪误差曲线图。
图11为施加正弦规律干扰-角速度跟踪曲线图。
图12为施加随机噪声干扰-角速度跟踪曲线图。
图13为施加正弦规律干扰-角速度跟踪误差曲线图。
图14为施加随机噪声干扰-角速度跟踪误差曲线图。
图15为静水中普通滑模控制和终端滑模控制对比结果表。
图16为海流环境下三种控制器控制效果对比表。
具体实施方式
下面结合发明内容,通过以下实施例阐述本发明的一种详细实施方案与效果。
本发明提供了一种视觉引导的水下机械臂控制方法。该方法能够实现水下机械臂控制器的稳定性,有效增强水下机械臂的抗干扰能力,有更好的控制效果,减少控制误差。为水下机械臂进行水下精确作业提供了解决方案,提升了水下机械臂自主作业能力,极大提高了水下作业的自动化水平。
本发明模仿生物视觉的手眼协调控制系统,利用视觉前馈控制引导水下机械臂的手爪关节抓取该物体、视觉反馈控制及水下机械臂的本体感知信息对已经规划的轨迹进行误差校准;再利用所获得的信息进行视觉引导控制水下机械臂,从而建立水下机械臂运动学模型和动力学模型,根据获取目标物的位置信息,解算出水下机械臂的各关节的期望位姿;用分散控制思想,将复杂的机械臂系统进行解耦,建立单关节的动力学模型,基于此动力学模型,介绍了一种机械臂独立关节的终端滑模自抗扰控制器。
人类通过眼睛控制手臂抓取物体的这一过程叫做基于生物的视觉引导控制,这种控制方式的思想是通过大脑处理眼睛观察到的信息,并结合人类自身的感知实现从二维平面视觉信息到三维空间运动的转换。本次发明所用的手眼协调控制系统框架便是参考该思想,实现基于视觉引导的水下机械臂控制。
结合图2所示,本发明利用视觉前馈控制引导水下机械臂的手爪关节抓取该物体、视觉反馈控制及水下机械臂的本体感知信息对已经规划的轨迹进行误差校准;如果这时水下目标物离开视野范围内或不满足视差条件的阈值,就重复上述过程直至满足视差条件的阈值,再利用所获得的信息进行视觉引导控制水下机械臂,完成快速接近并抓取目标物体的作业任务。
结合图3所示,假设水下目标物体为P,视觉引导系统控制思路如下:
(1)通过水下机械臂手爪关节的相机获取P的特征信息,从已经构建的3D模型集合中随机抽取一个3D模型,并假设P的特征信息与该3D模型匹配。
(2)从3D模型中提取与P的特征匹配的全部几何特征,进而建构可对目标位姿估算的特征集合。
(3)设P的图像特征的在计算机坐标系(opix-xpixypix)下的坐标为{(u0 v0),(u1v1)······(ui vi)},(u0v0),(u1 v1)······(ui vi)代表水下目标物体P的i个几何特征的坐标;设与P匹配的3D模型在世界坐标系(Ow-XwYwZw)下的三维空间坐标为{(x0y0 z0),(x1 y1 z1)······(xi yi zi)}。
(4)根据摄像机成像几何模型的建立原理,求解摄像机的外参数矩阵M。
上述的视觉引导控制系统是建立在P的特征信息与随机选取的3D模型匹配的前提之下,然而这一前提并不一定能实现。因此,本发明采用外参数矩阵M验证方法,其步骤如下:
(1)设相机处于B时水下目标物体的外参数矩阵为
Figure BDA0002225757260000061
处于A时水下目标物体的外参数矩阵为M,则存在如下关系:
Figure BDA0002225757260000062
(BRA为相机分别处于A、B两个位置时的转换矩阵);
(2)将与
Figure BDA0002225757260000063
相匹配的3D模型提取出来,并进行计算,即可得到水下目标物体在计算机坐标系(opix-xpixypix)下的坐标;
(3)如果通过相机采集目标物体所得到的外参数矩阵M与转换矩阵计算所得的外参数矩阵
Figure BDA0002225757260000064
对同一目标物体的估算结果一致,那么则认为3D模型匹配一致;如果对同一目标物体的估算结果不一致,则认为3D模型匹配不合理;
(4)如果3D模型匹配不合理,则需要重新构建3D模型集合或者继续在当前集合中寻找新的3D模型进行水下目标物体匹配工作,直至满足步骤(1)、(2)、(3)的要求为止。
手爪关节上配备的相机获取水下目标物的图像信息,并且采用一种水下目标物目标尺寸信息恢复的方法以达到期望的深度信息精度,采用二次成像法对图像信息进行水下目标物的大小、长宽比例等信息估算,最后利用现有的目标物体信息已知的算法(摄像机标定方法)实现对水下目标物的定位工作。
结合图4所示,设水下目标物体为一球体P,P的半径为r,P的坐标为(u0,v0),相机从ZC移动到ΔZC采集P的图像信息,设获取m及n帧图像时相机的坐标分别为(Xm,Ym,Zm)及(Xn,Yn,Zn),P的半径分别为rm及rn,令Δr'=rm-rn表示从m帧到n帧图像球体P的半径变化,式(1)为球体P的位姿信息估算表示式。
Figure BDA0002225757260000071
通过式(1)和摄像机标定的知识,便可得到第n帧时P的坐标(Xn,Yn,Zn),P估算半径r的表达式如下:
Figure BDA0002225757260000072
式(2)中,ΔZC和Δr'的取值决定于相机所在位置,k表示比例常数。
此时将球体P的估算半径r作为先验知识保存下来,最后利用现有的目标物体信息已知的算法(摄像机标定方法)实现对水下目标物的定位工作。如果仅利用m及n两帧图像对球体P的半径r进行估计误差较大,因此需多个角度采集水下目标物进行多帧分析,以减少估算误差。
用分散控制思想,将复杂的机械臂系统进行解耦,建立单关节的动力学模型,基于此动力学模型,介绍了一种机械臂独立关节的终端滑模自抗扰控制器;
六自由度水下机械臂的矩阵形式的动力学方程如式(3)所示。
Figure BDA0002225757260000073
式(3)中各个参数的含义如下:
Mm(q)∈R6×6:Inertia matrix(惯性力矩阵);
Figure BDA0002225757260000074
Coriolis and Centripetal matrix(哥氏力及向心力阵);
Figure BDA0002225757260000075
Damping matrix(阻尼力矩阵);
Gm(q)∈R6×1:Restoring matrix(恢复力矩阵);
τm:Driving matrix(驱动力矩阵)。
将水下机械臂的每一个关节模块定义为一个独立的子系统,并将局部变量进行分离。结合图5所示,由此可以得到水下机械臂的动力学模型如下所示:
其中,qi,
Figure BDA0002225757260000084
Gi(qi)、τi分别为向量q,
Figure BDA0002225757260000085
Figure BDA0002225757260000086
G(q)、τ的第i个分量(i=1,2,......,n),τd为水下机械臂关节所受到外界的扰动,
Figure BDA0002225757260000088
为第i个关节的总耦合项,
Figure BDA0002225757260000089
的具体表达式如下:
Figure BDA00022257572600000810
综上所述可,得六自由度水下机械臂系统结构示意图如图6所示。
Figure BDA00022257572600000811
则式(4)可以表示为如下状态空间的形式:
其中xi,yi分别代表Si的输入与输出,表示子系统的耦合项,因此可以得到如下关系式:
令F(xii)=f(xii)+biτi+biτd
Figure BDA00022257572600000816
其中W(t)为水下机械臂单关节系统所受到的总扰动,则式(6)可以改写为:
Figure BDA00022257572600000817
关节子系统的跟踪误差可以定义如下:
e=xi1-yi1 (10)
Figure BDA0002225757260000091
定义误差向量为
Figure BDA0002225757260000092
滑模设计函数为:
s=C(E-P) (12)
式中,C=[c 1],
Figure BDA0002225757260000093
为了实现全局鲁棒性,取E(0)=P(0),即p(0)=e(0),
Figure BDA0002225757260000094
为了实现按指定时间T收敛,取t=T时,p(t)=0,
Figure BDA0002225757260000095
则可构造终端滑模函数p(t)的多项式如下:
Figure BDA0002225757260000096
其中,aij(i,j=0,1,2)为系数,可通过解方程得到。
由式(11)可得:
Figure BDA0002225757260000097
由式(12)可得:
Figure BDA0002225757260000098
可得理想状态下水下机械臂第i个关节的控制器可以设计为:
Figure BDA0002225757260000099
式(16)中ηisgn(si)为终端滑模控制中包含的鲁棒项,ηi定义为一正常数,sgn(·)表示符号常数。然而式(16)所求出的水下机械臂单关节控制器没有考虑到扩张状态观测器(ESO),实际上利用扩张状态观测器(ESO)观测系统的角度值、角加速度值以及总扰动,并且进行总扰动补偿。本发明所设计的扩张状态观测器(ESO)的具体数学表达为:
Figure BDA0002225757260000101
上式中,z1,z2,z3分别对应qi
Figure BDA0002225757260000102
及W(t)的估计值,其中β1,β2,β3均大于零为观测器的增益,起到误差校正的作用,其中
Figure BDA0002225757260000103
在本系统中,只利用z3观测出单关节系统所受到的扰动值并进行补偿,因此结合公式(17)可得对于包含扩张状态观测器(ESO)的水下机械臂第i个关节的控制器为:
Figure BDA0002225757260000104
式(18)中,sat(si/Φ)为饱和函数(Φ为边界层厚度)。相比于符号函数sgn(si),sat(si/Φ)函数具有使控制信号更加稳定、控制输出更加平缓的优点。sat(si/Φ)的表达式如式(19)所示。
Figure BDA0002225757260000105
本发明设计了基于终端滑模控制的自扰性控制器,有效的增强了控制系统的抗干扰能力提高了控制精度等优点,满足实际任务和环境对水下机械臂的控制要求。
本发明采用三种情况模仿水下的实际情况对所设计的终端滑模自抗扰控制器进行控制性能的测试,分别在静水环境下及海流环境下使用普通滑模制器和终端滑模控制器进行仿真对比,分析使用两种控制器对系统控制指标的不同影响。最后在海流环境下加入外部扰动,使用终端滑模控制器与本发明所采用的终端滑模自抗扰控制器进行水下机械臂单关节系统角度、角度误差、角速度、角速度误差等四项指标的不同仿真,指标验证本发明所提控制方法的快速跟踪性、稳定性及有效性。
在静水环境下两种控制方法对水下机械臂关节整体跟踪效果都较好,表现出了良好的动态特性,但是使用终端滑模控制可以更加迅速的跟踪到期望轨迹,调节时间快、超调小、无振荡,控制过程比较稳定平滑。对比结果如图15所示。
图16为海流环境下三种控制器控制效果对比表,从图16中可以看出滑模控制器再加入水动力干扰后,各个控制性能参数调节时间明显增长(由不到1s增加到7s左右),终端滑模控制器的调节时间也有所增长,但各个控制性能参数仍能控制在1s以内;终端滑模控制器的角度跟踪误差及角速度跟踪误差参数也出现了较为明显抖震现象。由此说明,在海流环境中普通滑模控制效果没有加入之前优良,受干扰影响较大,跟踪时间过长且抖震严重。而终端滑模控制器在加入干扰后,在各个跟踪参数的调整时间有一定的延长,部分参数出现了抖震现象,但整体受干扰影响相对较小。
由于机械臂在水下实际作业时可能受到各种外界干扰,首先给水下机械臂施加一个规律的干扰力矩:
Figure BDA0002225757260000111
进行仿真,其次在规律干扰力矩的基础上再加入一些随机的噪声干扰进行仿真对比,存在外部干扰环境中终端滑模自抗扰控制仿真结果效果图如图7、图8、图9、图10、图11、图12、图13、图14所示。
对水下机械臂施加正弦规律干扰及随机噪声干扰后,水下机械臂的跟踪控制时间仍然能维持在0.5s之内,各个参数的调节时间与无干扰情况相比也没有明显增长,这说明终端滑模自抗扰控制器鲁棒性及稳定性十分优越;虽然在加入随机噪声干扰后,角度跟踪误差参数及角速度跟踪误差参出现了一定程度的抖振,但抖振幅度极小,不影响水下机械臂的跟踪控制。

Claims (6)

1.一种视觉引导的水下机械臂控制方法,其特征在于,包括:
步骤1:当水下机械臂处于初始位置,采用视觉引导方式控制水下机械臂运动,位于腕部的水下摄像机开始搜寻水下目标,确定水下目标物;
步骤2:确定水下目标物之后,通过视觉对水下目标物进行定位,确定本运动周期的水下机械臂末端位置点;
步骤3:建立水下机械臂的运动学模型,计算出本周期的机械臂各关节运动量,构造基于终端滑模的自抗扰控制器,驱动水下机械臂各关节运动;
步骤4:检测水下机械臂是否到达水下目标点,若没有到达目标点,重复步骤2和步骤3的运动过程,若到达则进行相应的水下机械抓取工作。
2.根据权利要求1所述的一种视觉引导的水下机械臂控制方法,其特征在于:所述的步骤1中视觉引导方式控制包括
步骤1.1:通过水下机械臂手爪关节的相机获取水下目标物体P的特征信息,从已经构建的3D模型集合中随机抽取一个3D模型,采用外参数矩阵M验证方法选取与P的特征信息相匹配的3D模型;
步骤1.2:从3D模型中提取与P的特征匹配的全部几何特征,进而建构对目标位姿估算的特征集合;
步骤1.3:设P的图像特征的在计算机坐标系(opix-xpixypix)下的坐标为{(u0 v0),(u1v1)……(ui vi)},(u0 v0),(u1 v1)……(ui vi),代表水下目标物体P的i个几何特征的坐标;设与P匹配的3D模型在世界坐标系(Ow-XwYwZw)下的三维空间坐标为{(x0 y0 z0),(x1 y1z1)……(xi yi zi)};
步骤1.4:根据摄像机成像几何模型的建立原理,求解摄像机的外参数矩阵M。
3.根据权利要求2所述的一种视觉引导的水下机械臂控制方法,其特征在于:所述的步骤1.1中外参数矩阵M验证方法包括
步骤1.1.1:相机处于B时水下目标物体的外参数矩阵为
Figure FDA0002225757250000011
处于A时水下目标物体的外参数矩阵为M,则其中BRA为相机分别处于A、B两个位置时的转换矩阵;
步骤1.1.2:将与
Figure FDA0002225757250000013
相匹配的3D模型提取出来并进行计算,得到水下目标物体在计算机坐标系(opix-xpixypix)下的坐标;
步骤1.1.3:若通过相机采集目标物体所得到的外参数矩阵M与转换矩阵计算所得的外参数矩阵
Figure FDA0002225757250000021
对同一目标物体的估算结果一致,则认为3D模型匹配一致;若对同一目标物体的估算结果不一致,则认为3D模型匹配不合理;
步骤1.1.4:若3D模型匹配不合理,则需要重新构建3D模型集合或继续在当前集合中寻找新的3D模型进行水下目标物体匹配工作,重复步骤1.1.1、步骤1.1.2和步骤1.1.3的直至满足要求为止。
4.根据权利要求1所述的一种视觉引导的水下机械臂控制方法,其特征在于:所述的步骤2中通过视觉对水下目标物进行定位首先定义水下目标物体为一球体P,P的半径为r,P的坐标为(u0,v0),计算球体P的位姿信息
Figure FDA0002225757250000022
其中相机从ZC移动到ΔZC采集P的图像信息,获取m及n帧图像时相机的坐标分别为(Xm,Ym,Zm)及(Xn,Yn,Zn),P的半径分别为rm及rn,令Δr'=rm-rn表示从m帧到n帧图像球体P的半径变化;然后计算的P估算半径式中,ΔZC和Δr'的取值决定于相机所在位置,k表示比例常数;最后将此时球体P的估算半径r作为先验知识保存下来,利用现有的目标物体信息已知的算法实现对水下目标物的定位工作。
5.根据权利要求1所述的一种视觉引导的水下机械臂控制方法,其特征在于:所述的步骤3中建立水下机械臂的运动学模型具体为:
六自由度水下机械臂的矩阵形式的动力学方程为:
其中,Mm(q)为惯性力矩阵;为哥氏力及向心力阵;
Figure FDA0002225757250000026
为阻尼力矩阵;Gm(q)为恢复力矩阵;τm为驱动力矩阵;将水下机械臂的每一个关节模块定义为一个独立的子系统,并将局部变量
Figure FDA0002225757250000027
进行分离,得到水下机械臂的动力学模型为:
Figure FDA0002225757250000031
其中qi,
Figure FDA0002225757250000032
Gi(qi)、τi分别为向量q,
Figure FDA0002225757250000033
Figure FDA0002225757250000034
G(q)、τ的第i个分量,i=1,2,......,n;τd为水下机械臂关节所受到外界的扰动;
Figure FDA0002225757250000035
为第i个关节的总耦合项,表达式为:
6.根据权利要求1所述的一种视觉引导的水下机械臂控制方法,其特征在于:所述的步骤步骤3中构造基于终端滑模的自抗扰控制器为对于包含扩张状态观测器(ESO)的水下机械臂第i个关节的控制器
Figure FDA0002225757250000037
其中
Figure FDA0002225757250000038
为关节子系统的跟踪误差,z3为W(t)的估计值,F(xii)=f(xii)+biτi+biτd
Figure FDA0002225757250000039
sat(si/Φ)为饱和函数
Figure FDA00022257572500000310
其中Φ为边界层厚度。
CN201910950891.XA 2019-10-08 2019-10-08 一种视觉引导的水下机械臂控制方法 Pending CN110744541A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910950891.XA CN110744541A (zh) 2019-10-08 2019-10-08 一种视觉引导的水下机械臂控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910950891.XA CN110744541A (zh) 2019-10-08 2019-10-08 一种视觉引导的水下机械臂控制方法

Publications (1)

Publication Number Publication Date
CN110744541A true CN110744541A (zh) 2020-02-04

Family

ID=69277768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910950891.XA Pending CN110744541A (zh) 2019-10-08 2019-10-08 一种视觉引导的水下机械臂控制方法

Country Status (1)

Country Link
CN (1) CN110744541A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111360840A (zh) * 2020-04-28 2020-07-03 沈阳优诚自动化工程有限公司 一种基于视觉算法的机械臂分拣方法
CN111993416A (zh) * 2020-07-30 2020-11-27 浙江大华技术股份有限公司 一种控制机械臂运动的方法、设备、系统以及装置
CN112643670A (zh) * 2020-12-07 2021-04-13 洛阳尚奇机器人科技有限公司 一种基于滑模观测器的柔性关节控制方法
CN113325716A (zh) * 2021-06-10 2021-08-31 浙江大学 基于扩张观测器的水下液压机械臂非线性鲁棒控制方法
CN113878583A (zh) * 2021-10-28 2022-01-04 济南大学 一种水下机械臂控制方法及系统
CN114280929A (zh) * 2021-12-08 2022-04-05 中国船舶重工集团公司第七0三研究所 一种用于机械臂的滑模混合控制方法及计算机设备
CN114738338A (zh) * 2022-04-27 2022-07-12 浙江大学 一种面向水下多自由度液压机械臂的滑模控制方法
CN114800487A (zh) * 2022-03-14 2022-07-29 中国科学院自动化研究所 基于扰动观测技术的水下机器人作业控制方法
CN115509241A (zh) * 2021-06-22 2022-12-23 中移系统集成有限公司 水下机器人轨迹跟踪控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390101A (zh) * 2013-07-15 2013-11-13 哈尔滨工程大学 串联形式机器人的逆运动学通用求解方法
CN106541413A (zh) * 2016-10-12 2017-03-29 浙江大学 基于Arduino平台和机器视觉模块的水下机器人控制系统
US20170269592A1 (en) * 2016-03-18 2017-09-21 Oceaneering International, Inc. Use of Unmanned Aerial Vehicles for NDT Inspections
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390101A (zh) * 2013-07-15 2013-11-13 哈尔滨工程大学 串联形式机器人的逆运动学通用求解方法
US20170269592A1 (en) * 2016-03-18 2017-09-21 Oceaneering International, Inc. Use of Unmanned Aerial Vehicles for NDT Inspections
CN106541413A (zh) * 2016-10-12 2017-03-29 浙江大学 基于Arduino平台和机器视觉模块的水下机器人控制系统
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵延峰: "基于视觉引导的水下机械臂控制方法的研究", 《基于视觉引导的水下机械臂控制方法的研究 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111360840A (zh) * 2020-04-28 2020-07-03 沈阳优诚自动化工程有限公司 一种基于视觉算法的机械臂分拣方法
CN111993416A (zh) * 2020-07-30 2020-11-27 浙江大华技术股份有限公司 一种控制机械臂运动的方法、设备、系统以及装置
CN112643670B (zh) * 2020-12-07 2022-07-29 洛阳尚奇机器人科技有限公司 一种基于滑模观测器的柔性关节控制方法
CN112643670A (zh) * 2020-12-07 2021-04-13 洛阳尚奇机器人科技有限公司 一种基于滑模观测器的柔性关节控制方法
CN113325716A (zh) * 2021-06-10 2021-08-31 浙江大学 基于扩张观测器的水下液压机械臂非线性鲁棒控制方法
CN115509241A (zh) * 2021-06-22 2022-12-23 中移系统集成有限公司 水下机器人轨迹跟踪控制方法及装置
CN113878583A (zh) * 2021-10-28 2022-01-04 济南大学 一种水下机械臂控制方法及系统
CN113878583B (zh) * 2021-10-28 2023-05-23 济南大学 一种水下机械臂控制方法及系统
CN114280929A (zh) * 2021-12-08 2022-04-05 中国船舶重工集团公司第七0三研究所 一种用于机械臂的滑模混合控制方法及计算机设备
CN114280929B (zh) * 2021-12-08 2023-12-01 中国船舶重工集团公司第七0三研究所 一种用于机械臂的滑模混合控制方法及计算机设备
CN114800487A (zh) * 2022-03-14 2022-07-29 中国科学院自动化研究所 基于扰动观测技术的水下机器人作业控制方法
CN114800487B (zh) * 2022-03-14 2024-02-02 中国科学院自动化研究所 基于扰动观测技术的水下机器人作业控制方法
CN114738338A (zh) * 2022-04-27 2022-07-12 浙江大学 一种面向水下多自由度液压机械臂的滑模控制方法

Similar Documents

Publication Publication Date Title
CN110744541A (zh) 一种视觉引导的水下机械臂控制方法
CN108115681B (zh) 机器人的模仿学习方法、装置、机器人及存储介质
Liu et al. Uncalibrated visual servoing of robots using a depth-independent interaction matrix
CN110000785B (zh) 农业场景无标定机器人运动视觉协同伺服控制方法与设备
Yamane et al. Simultaneous tracking and balancing of humanoid robots for imitating human motion capture data
CN108284436B (zh) 具有模仿学习机制的远程机械双臂系统及方法
Nakanishi et al. Comparative experiments on task space control with redundancy resolution
CN109634307A (zh) 一种无人水下航行器复合航迹跟踪控制方法
CN111923049B (zh) 基于球面模型的飞行机械臂视觉伺服与多任务控制方法
Li et al. Neural learning and kalman filtering enhanced teaching by demonstration for a baxter robot
Inaba et al. Vision-based adaptive and interactive behaviors in mechanical animals using the remote-brained approach
Li et al. Study on obstacle avoidance strategy using multiple ultrasonic sensors for spherical underwater robots
CN115122325A (zh) 一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法
Wang et al. Ego-motion estimation of a quadrotor based on nonlinear observer
Han et al. Visual servoing control of robotics with a neural network estimator based on spectral adaptive law
Radmehr et al. Experimental Study on the Imitation of the Human Head-and-Eye Pose Using the 3-DOF Agile Eye Parallel Robot with ROS and Mediapipe Framework
Yan et al. Autonomous vision-based navigation and stability augmentation control of a biomimetic robotic hammerhead shark
CN109542094B (zh) 无期望图像的移动机器人视觉镇定控制
Dimitrov et al. Model identification of a small fully-actuated aquatic surface vehicle using a long short-term memory neural network
CN212635747U (zh) 基于球面模型的飞行机械臂视觉伺服结构
CN111413995B (zh) 双刚体特征点间相对位置跟踪与姿态同步控制方法及系统
Fornas et al. Fitting primitive shapes in point clouds: a practical approach to improve autonomous underwater grasp specification of unknown objects
Marturi et al. A real-time tracking and optimised gaze control for a redundant humanoid robot head
Cabecinhas et al. Vision-based quadrotor stabilization using a pan and tilt camera
El-Fakdi et al. Two steps natural actor critic learning for underwater cable tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200204

RJ01 Rejection of invention patent application after publication