CN114378827B - 一种基于移动机械臂整体控制的动态目标跟踪抓取方法 - Google Patents

一种基于移动机械臂整体控制的动态目标跟踪抓取方法 Download PDF

Info

Publication number
CN114378827B
CN114378827B CN202210092512.XA CN202210092512A CN114378827B CN 114378827 B CN114378827 B CN 114378827B CN 202210092512 A CN202210092512 A CN 202210092512A CN 114378827 B CN114378827 B CN 114378827B
Authority
CN
China
Prior art keywords
mechanical arm
target
mobile
joint
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210092512.XA
Other languages
English (en)
Other versions
CN114378827A (zh
Inventor
周怀东
冯蓬勃
丑武胜
李维娟
余俊豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang Gol Weifang Intelligent Robot Co ltd
Beihang University
Original Assignee
Beihang Gol Weifang Intelligent Robot Co ltd
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang Gol Weifang Intelligent Robot Co ltd, Beihang University filed Critical Beihang Gol Weifang Intelligent Robot Co ltd
Priority to CN202210092512.XA priority Critical patent/CN114378827B/zh
Publication of CN114378827A publication Critical patent/CN114378827A/zh
Application granted granted Critical
Publication of CN114378827B publication Critical patent/CN114378827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种基于移动机械臂整体控制的动态目标跟踪抓取方法,属于机器人技术领域,包括步骤S1:标注带作业目标的数据集;S2:使用标注的数据集进行模型训练,产生目标检测模型;S3:使用训练后的目标检测模型,输入单目图像进行目标检测,框选目标,计算目标空间坐标和中心点区域深度;S4:对机械臂和运动底盘建立运动学模型,求解机械臂和运动底盘的雅克比矩阵;S5:采用视觉伺服技术对目标物体进行动态跟踪,并预测其运动轨迹;S6:将目标预测的运动目标发送给移动机械臂系统,求解移动机械臂各个关节的运动控制量,并采用PID算法对移动机械臂系统进行闭环运动控制。本发明使机械臂准确、灵活地对动态目标进行跟踪抓取。

Description

一种基于移动机械臂整体控制的动态目标跟踪抓取方法
技术领域
本发明涉及机器人技术领域,具体涉及一种基于移动机械臂整体控制的动态目标跟踪抓取方法。
背景技术
目前传统的机械臂控制技术以及移动底盘技术经过几十年的发展均相对成熟和完善,并被广泛应用在工作生产中。目前常用的移动作业机器人技术常采用机械臂与移动平台单独控制的分系统控制模式,其基本的作业模式为由移动底盘运动到作业区域后再由机械臂根据作业目标规划作业路径并完成操作任务,最后由移动底盘返回。而具有移动作业能力的移动作业机器人区别于传统的作业机械臂的最大特点就是其具有灵活的移动能力,可显著的提升作业机械臂的作业范围和作业对象。因此,移动作业机器人在作业过程中需要同时考虑移动底盘和机械臂的运动情况,需要根据作业任务和作业环境对移动底盘和机械臂进行整体运动控制才能最大的激发其系统的优势。
传统的机械臂控制技术主要针对于具有固定基座的固定基机械臂系统,而针对具有移动功能的移动机械臂的相关研究还未成熟。而传统的移动平台控制技术也仅针对移动平台而设计,仅用于完成移动底盘的点到点或固定轨迹任务作业,而针对具有移动性能强或作业目标灵活多变的移动作业机器人的相关研究还处在发展阶段。
目前常用的移动机械臂作业系统主要针对固定作业目标完成对应的作业任务,而在实际应用场景中,大部分作业目标是动态变化的,如何对移动目标进行大范围的动态跟踪和操作是目前常用移动作业机械臂系统需要解决的难点。目前常用应用在工业机械臂操作中的目标识别技术为传统的特征提取和点云匹配技术,虽然其在简单背景下具有稳定可靠等优点,但是,移动作业机械臂的作业对象是动态变化的,作业背景还是复杂变化的,而传统的目标识别技术并不适用。
因此,如何提供一种新型的目标跟踪抓取方法,使其准确、灵活地控制机械臂系统对动态目标进行跟踪抓取,是本领域技术人员亟待解决的技术问题。
发明内容
为此,本发明提供一种基于移动机械臂整体控制的动态目标跟踪抓取方法,以解决现有技术中由于移动机械臂在作业过程中机械臂和移动底盘两个系统相互独立控制而导致的不能灵活控制机械臂进行抓取的问题。
为了实现上述目的,本发明提供如下技术方案:
一种基于移动机械臂整体控制的动态目标跟踪抓取方法,包括以下步骤:
S1:根据作业任务要求,按IMAGENET数据集标注带作业目标的数据集;
S2:使用标注的数据集进行模型训练,产生目标检测模型;
S3:使用训练后的目标检测模型,输入单目图像进行目标检测,框选目标,计算目标空间坐标和中心点区域深度;
S4:对机械臂和运动底盘建立运动学模型,求解机械臂和运动底盘的雅克比矩阵,并联合构建移动机械臂系统的整体雅克比矩阵
S5:采用视觉伺服技术对目标物体进行动态跟踪,并预测其运动轨迹;
S6:将目标预测的运动目标发送给移动机械臂系统,求解移动机械臂各个关节的运动控制量,并采用PID算法对移动机械臂系统进行闭环运动控制。
进一步地,所述步骤S3具体包括以下步骤:
S301:通过RGB-D相机采集图像信息,并输入到目标检测模型中,根据作业目标进行目标检测和位置确定,并将检测的目标和图像位置信息发送给步骤S302进行目标空间位置确定;
S302:基于步骤S2中确定的作业目标图像位置信息,在对应的深度图中筛选目标物体的深度信息,并通过相机成像模型求解作业目标物体在相机坐标系下的空间位置信息,并输入给步骤S5进行作业目标物体的运动轨迹预测。
进一步地,所述步骤S4具体包括以下步骤:
S401:在移动底盘转动中心、机械臂底座、末端手爪中心和RGB-D相机光心分别建立参考坐标系{B}、{M}、{E}和{C};
S402:基于步骤S401建立的坐标系,根据旋量理论,在机械臂初始状态下,求解末端手爪的位姿矩阵M,同时,根据机械臂的结构参数,列出机械臂各个关节在末端手爪坐标系{E}下的物体运动旋量信息ζem,并求解机械臂坐标系在末端手爪坐标系{E}下的齐次变换矩阵,从而求解机械臂的雅克比矩阵Jm(θ);
S403:根据移动底盘与机械臂的位置信息,列出机械臂在移动底盘坐标系{B}的位姿矩阵Tbm,并列出底盘各驱动关节在末端手爪坐标系{E}下的物体运动旋量信息ζeb,同时,根据步骤S402建立的机械臂在末端手爪坐标系{E}下齐次变化矩阵,求解出移动底盘在末端手爪坐标系{E}下的齐次变换矩阵,从而求解出移动底盘的雅克比矩阵
S404:联合构建移动机械臂系统的整体雅克比矩阵
其中,为移动底盘的雅克比矩阵,Jm(θ)为机械臂的雅克比矩阵;
S405:根据系统反馈的系统各个关节状态信息,基于步骤S404求解的移动机械臂系统的整体雅克比矩阵求解整体雅克比矩阵的伪逆/>
进一步地,所述步骤S5具体包括以下步骤:
S501:基于步骤S302提供的连续三个有效时刻的物体空间位置信息预测目物体下一时刻的运动速度和运动方向;
S502:基于步骤S302中目标物体下一时刻的位置信息,计算末端手爪中心点与目标物体的位置偏差,以目标物体的下一时刻位置作为末端手爪的运动目标,并将位置偏差输入给步骤S6。
进一步地,所述步骤S6中根据所述步骤S4求解的整体移动机械臂系统的雅克比矩阵和步骤S5求解的末端手爪与目标的偏差,求解移动机械臂系统各个关节的运动控制量/>并进行闭环运动控制。
进一步地,所述步骤S402中机械臂初始状态下末端手爪的位姿矩阵M为:
其中,w1为机械臂第一个关节与第二或第三个关节中心点在y轴方向的距离,w2为机械臂第二或第三个关节与第四个关节中心点在y轴方向的距离,w3为机械臂第四个关节与第五或第六个关节中心点在x轴方向的距离,w4为机械臂第六个关节与末端手爪中心点在x轴方向的距离,l1、l2、l3、l4为各个轴在z轴方向之间的距离;
所述机械臂各个关节在末端手爪坐标系{E}下的物体运动旋量信息ζem为:
其中,Jm(θ)为机械臂的雅克比矩阵,为机械臂的关节角速度。
进一步地,所述步骤S403中机械臂在移动底盘坐标系{B}的位姿矩阵Tbm为:
其中,h为机械臂底座中心点与移动底盘驱动轮轴线之间的竖直距离;
所述底盘各驱动关节在末端手爪坐标系{E}下的物体运动旋量信息ζeb为:
其中,为移动底盘的雅克比矩阵,/>为移动底盘左右轮速。
进一步地,所述移动机械臂系统各个关节的运动控制量为:
其中,为系统雅克比矩阵的伪逆,ζe为末端机械手爪的运动旋量。
进一步地,还包括步骤S7:
根据目标位置与当前末端的机械手爪的位置偏差判断系统,判断是否完成了对目标的跟踪,并在有效的抓取范围内:如果跟踪误差满足抓取条件,控制末端手爪进行抓取,并返回;如果跟踪误差不满足抓取条件,则控制末端机械手爪继续进行跟踪以缩小跟踪误差。
进一步地,所述目标检测模型为采用pytorch搭建的卷积神经网络模型。
本发明具有如下优点:
(1)针对目前被广泛应用于工业生产中的移动机械臂系统分别将机械臂和移动底盘分阶段单独运动控制的缺点,本发明通过对机械臂和移动底盘进行联合建立运动学模型,根据作业目标进行联合运动控制,可有效增大移动机械臂作业过程中的运动灵活性和作业范围。
(2)针对目前常用的工业中的目标检测方法为特征提取、特征匹配以及点云匹配,此类方法虽然具有稳定可靠的优点,但存在作业目标单一,作业环境单一,作业半径范围小等缺点,本发明通过融合基于深度学习的目标检测方法可以有效克服作业目标单一,作业背景单一,作业范围小等特点,可使移动机械臂在负载的环境中完成作业任务。
(3)针对目前常用的移动机械臂作业系统主要针对定点作业目标的缺点,本发明通过融合视觉伺服技术,通过目标检测模型输出的检测结果,实现对运动作业目标的动态跟踪和抓取任务,可使移动作业机械臂系统对训练过的作业目标进行大范围的动态跟踪和抓取,为移动机械臂系统应用于人机协作提供了一条有效途径。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明的移动机械臂系统构成图;
图2为本发明整体系统控制简图;
图3为本发明的参考坐标系示意图;
图4为本发明的结构参数图;
图5为本发明的目标深度特征匹配示意图;
图6为本发明的运动预测与跟踪示意图;
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明的移动机械臂系统构成图。如图1所示,移动机械臂整体系统主要由移动平台、六自由度机械臂、RGB-D相机、二指机械手爪以及随机空间运动的作业目标等构成。六自由度机械臂基座固定在移动底盘之上,末端二指机械手爪和RGB-D相机与六自由度机械臂末端固定连接,所以,整个系统可作串联机构。其中,移动平台和六自由度机械臂主要完成二指机械手爪的三维空间运动;RGB-D相机只要用于感知运动目标及其相对于二指机械手爪的位置信息;二指机械手爪主要完成对作业目标的跟踪抓取操作任务;而操作者主要用于带动作业目标进行空间无规律运动,以验证整体系统针对空间无规律运动目标的跟踪抓取效果以及与人机交互的协同作用。
图2为本发明的系统整体控制简图。整体系统作业目标由如图1所示的操作者手持,并跟随操作者在三维空间中做任意运动。RGB-D相机对运动的作业目标进行感知。如图5所示,通过目标检测模型检测目标并框选目标位置信息,筛选目标位置对应的深度信息。通过相机成像模型和相机到末端机械手爪的姿态变换矩阵,求解目标相对于末端机械手爪的相对位姿。通过连续时刻的目标运动信息预测末端机械手爪的运动方向和目标点。
将末端机械手爪的目标点通过机械臂和移动底盘的运动学模型求解各个关节的控制量并发送给控制器进行运动控制。通过系统各个关节的内置传感器,实时检测各个关节的运动当前状态信息。通过系统运动学模型求解末端机械手爪当前位置并与目标位置进行对比,求解偏差并将偏差增加到下一次运动控制中。
最后根据目标位置与当前末端的机械手位置误差判断系统是否完成了对目标的跟踪,并在有效的可抓取范围内,抓取条件为目标检测中心点与抓取点的像素误差在10以内:若不能进行抓取则控制末端机械手爪继续进行跟踪以缩小跟踪误差;当跟踪误差满足抓取条件连续3s后控制末端机械手爪进行抓取,并返回。
图3为本发明建立系统运动学模型的参考坐标系。图中{B}为移动底盘本体参考坐标系,其原点为移动底盘两个轮子轴线的中心点,即移动底盘的回转中心点,并与随移动底盘一起运动,其中x为车体运动方向,z轴为垂直于移动平台运动平面,满足右手法则;{W}为世界参考坐标系,其原点和坐标轴方向初始时刻与{B}坐标系重合,满足右手法则并固定不动;{M}为六自由度机械臂参考坐标系,其原点为机械臂底座中心点与移动底盘的固定点,x为车体运动方向,z轴为第一个自由度的旋转轴线方向并垂直向上,满足右手法则;{C}为RGB-D相机的参考坐标系方向,其原点位于RGB-D相机的光心,x轴垂直于相机平面并指向外侧,z轴竖直向上,满足右手法则;{E}为末端机械手爪的参考坐标系,其原点位于机械手爪的抓取中心点,x轴方向为机械臂第6个自由度的旋转轴线,并指向右侧,z轴竖直向上,满足右手法则;{O}为作业目标的参考坐标系,用以z轴竖直向上,满足右手法则。
图4为本发明的结构参数图。w为移动底盘两轮之间的宽度即y轴;l为机械臂底座中心点与底盘驱动轮轴线之间的水平距离即x轴;h为机械臂底座中心点与底盘驱动轮轴线之间的竖直距离即z轴。w1为机械臂第一个关节与第二或第三个关节中心点在y轴方向的距离,w2为机械臂第二或第三个关节与第四个关节中心点在y轴方向的距离,w3为机械臂第四个关节与第五或第六个关节中心点在x轴方向的距离,w4为机械臂第六个关节与末端手爪中心点在x轴方向的距离,l1、l2、l3、l4为各个轴在z轴方向之间的距离。
根据移动底盘与机械臂的位置信息,列出机械臂在移动底盘坐标系{B}的位姿矩阵Tbm结构参数如图4所示。设机器人任意时刻的位置为/>则移动底盘的位姿变换矩阵/>
由于末端机械手爪的运动由移动底盘和六自由度机械臂共同决定,由正运动学相关定理可知,末端机械臂的位姿矩阵为:
其中为底盘控制量,θ为机械关节角度,Tme(θ)末端机械手爪在{M}坐标系下的位姿,Tbm为机械臂相对于移动底盘的位姿变换,/>为移动底盘的位姿变换矩阵。
根据旋量理论,在机械臂初始状态下,求解末端手爪的位姿矩阵M,系统结构参数如图4所示。[·]为反对称矩阵,设则/>则[ξi]为反对称矩阵。
由机械臂的正运动学可知,末端机械手爪的位姿矩阵可表示为:
其中,θi(i=1…6)为机械臂第i个关节的关节角度,ζi(i=1…6)为机械臂第i个关节在{E}坐标系下的旋量。M为机械臂再初始时刻,末端机械手爪在的位姿矩阵。
针对机械臂系统,由可得:
则:
式中AdT为伴随矩阵。
所以机械臂运动旋量在末端机械手爪坐标系{E}中可表示为:
从而求解出求解机械臂的雅克比矩阵Jm(θ)。
针对移动底盘系统,由差动底片的运动学模型可知,移动底盘的运动旋量在{B}参考系下可表示为:
式中ωb为移动底盘的转动角速度,为移动底盘的前进速度,/>为移动底盘的横向移动速度,由于差速轮底盘无横向移动功能固为0。/>为左轮转速,/>为右轮转速。
所以移动底盘运动旋量在末端机械手爪坐标系{E}中可表示为:
从而求解移动底盘的雅克比矩阵
从而构建移动机械臂系统的整体雅克比矩阵
为使末端机械手爪成功跟踪目标物体,以末端机械手爪的坐标系{E}为参考坐标系,则末端机械手爪的运动旋量为ζe
由逆运动学相关理论可知,末端机械手爪的末端旋量与移动底盘和机械臂的各个关节的关系可表示为:
其中,Je(θ)∈R6×8为系统的雅克比矩阵,为移动底盘的雅克比矩阵,Jm(θ)∈R6×6为机械臂的雅克比矩阵,/>为移动底盘左右轮速,/>为机械臂的关节角速度。R为实数矩阵,6*8表示实数矩阵的大小,即表示矩阵6行8列。其余的以此类推。
则移动机械臂系统的各个关节控制量与末端机械手爪的运动旋量可表示为:
式中为系统雅克比矩阵的伪逆,/>即为求解出来的各个关节的速度控制量,代表系统各关节在控制周期内的运动量,通过将此量发给控制器即可控制系统各关节运动。
至此,可以根据末端的目标检测位置求解出机械臂末端的实时位姿矩阵即机械臂手爪跟踪末端物体需要达到的位姿,并通过系统的运动学模型求解出各个关节的运动控制量,最后通过控制器控制移动底盘和机械臂进行联合运动。
图6为本发明的运动预测与跟踪示意图。To(t)为根据目标检测预测出的末端机械手爪目标运动轨迹,Te(t)为末端机械手爪当前轨迹,Terror(t)为目标轨迹与当前轨迹之间的误差,因此将误差加入末端机械臂的控制量中,其控制规律如下:
式中Kp,Ki,Kd为可调节参数。所以,整体系统可实现闭环动态跟踪控制。
此式采用PID控制,ζe(t)为末端机械手爪的空间运动旋量,即表示末端的运动速度和方向为6*1列向量,前面三列表示空间轴方向,后三列为参考坐标系原点运动速度的大小。此量与雅克比矩阵的伪逆相乘即可求解在此时刻,系统各个关节速度控制量的大小并发送给控制器进行运动控制。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (10)

1.一种基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,包括以下步骤:
S1:根据作业任务要求,按IMAGENET数据集标注带作业目标的数据集;
S2:使用标注的数据集进行模型训练,产生目标检测模型;
S3:使用训练后的目标检测模型,输入单目图像进行目标检测,框选目标,计算目标空间坐标和中心点区域深度;
S4:对机械臂和运动底盘建立运动学模型,求解机械臂和运动底盘的雅克比矩阵,并联合构建移动机械臂系统的整体雅克比矩阵其中,/>为底盘控制量,θ为机械关节角度;
S5:采用视觉伺服技术对目标物体进行动态跟踪,并预测其运动轨迹;
S6:将目标检测模型检测到的运动目标发送给移动机械臂系统,求解移动机械臂各个关节的运动控制量,并采用PID算法对移动机械臂系统进行闭环运动控制。
2.如权利要求1所述的基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,所述步骤S3具体包括以下步骤:
S301:通过RGB-D相机采集图像信息,并输入到目标检测模型中,根据作业目标进行目标检测和位置确定,并将检测的目标和图像位置信息发送给步骤S302进行目标空间位置确定;
S302:基于步骤S301中确定的作业目标图像位置信息,在对应的深度图中筛选目标物体的深度信息,并通过相机成像模型求解作业目标物体在相机坐标系下的空间位置信息,并输入给步骤S5进行作业目标物体的运动轨迹预测。
3.如权利要求1所述的基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,所述步骤S4具体包括以下步骤:
S401:在移动底盘转动中心、机械臂底座、末端手爪中心和RGB-D相机光心分别建立参考坐标系{B}、{M}、{E}和{C};
S402:基于步骤S401建立的坐标系,根据旋量理论,在机械臂初始状态下,求解末端手爪的位姿矩阵M,同时,根据机械臂的结构参数,列出机械臂各个关节在末端手爪坐标系{E}下的物体运动旋量信息ζem,并求解机械臂坐标系在末端手爪坐标系{E}下的齐次变换矩阵,从而求解机械臂的雅克比矩阵Jm(θ),其中,θ为机械关节角度;
S403:根据移动底盘与机械臂的位置信息,列出机械臂在移动底盘坐标系{B}的位姿矩阵Tbm,并列出底盘各驱动关节在末端手爪坐标系{E}下的物体运动旋量信息ζeb,同时,根据步骤S402建立的机械臂在末端手爪坐标系{E}下齐次变化矩阵,求解出移动底盘在末端手爪坐标系{E}下的齐次变换矩阵,从而求解出移动底盘的雅克比矩阵其中,/>为底盘控制量;
S404:联合构建移动机械臂系统的整体雅克比矩阵
其中,为移动底盘的雅克比矩阵,Jm(θ)为机械臂的雅克比矩阵;
S405:根据系统反馈的系统各个关节状态信息,基于步骤S404求解的移动机械臂系统的整体雅克比矩阵求解整体雅克比矩阵的伪逆/>
4.如权利要求2所述的基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,所述步骤S5具体包括以下步骤:
S501:基于步骤S302提供的连续三个有效时刻的物体空间位置信息预测目物体下一时刻的运动速度和运动方向;
S502:基于步骤S302中目标物体下一时刻的位置信息,计算末端手爪中心点与目标物体的位置偏差,以目标物体的下一时刻位置作为末端手爪的运动目标,并将位置偏差输入给步骤S6。
5.如权利要求4所述的基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,所述步骤S6中根据所述步骤S4求解的整体移动机械臂系统的雅克比矩阵和步骤S5求解的末端手爪与目标的偏差,求解移动机械臂系统各个关节的运动控制量/>并进行闭环运动控制。
6.如权利要求3所述的基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,所述步骤S402中机械臂初始状态下末端手爪的位姿矩阵M为:
其中,w1为机械臂第一个关节与第二或第三个关节中心点在y轴方向的距离,w2为机械臂第二或第三个关节与第四个关节中心点在y轴方向的距离,w3为机械臂第四个关节与第五或第六个关节中心点在x轴方向的距离,w4为机械臂第六个关节与末端手爪中心点在x轴方向的距离,l1、l2、l3、l4为各个轴在z轴方向之间的距离;
所述机械臂各个关节在末端手爪坐标系{E}下的物体运动旋量信息ζem为:
其中,Jm(θ)为机械臂的雅克比矩阵,为机械臂的关节角速度。
7.如权利要求3所述的基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,所述步骤S403中机械臂在移动底盘坐标系{B}的位姿矩阵Tbm为:
其中,h为机械臂底座中心点与移动底盘驱动轮轴线之间的竖直距离;
所述底盘各驱动关节在末端手爪坐标系{E}下的物体运动旋量信息ζeb为:
其中,为移动底盘的雅克比矩阵,/>为移动底盘左右轮速。
8.如权利要求5所述的基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,所述移动机械臂系统各个关节的运动控制量为:
其中,为系统雅克比矩阵的伪逆,ζe为末端机械手爪的运动旋量。
9.如权利要求1所述的基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,还包括步骤S7:
根据目标位置与当前末端的机械手爪的位置偏差判断系统,判断是否完成了对目标的跟踪,并在有效的抓取范围内:如果跟踪误差满足抓取条件,控制末端手爪进行抓取,并返回;如果跟踪误差不满足抓取条件,则控制末端机械手爪继续进行跟踪以缩小跟踪误差。
10.如权利要求1所述的基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,所述目标检测模型为采用pytorch搭建的卷积神经网络模型。
CN202210092512.XA 2022-01-26 2022-01-26 一种基于移动机械臂整体控制的动态目标跟踪抓取方法 Active CN114378827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210092512.XA CN114378827B (zh) 2022-01-26 2022-01-26 一种基于移动机械臂整体控制的动态目标跟踪抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210092512.XA CN114378827B (zh) 2022-01-26 2022-01-26 一种基于移动机械臂整体控制的动态目标跟踪抓取方法

Publications (2)

Publication Number Publication Date
CN114378827A CN114378827A (zh) 2022-04-22
CN114378827B true CN114378827B (zh) 2023-08-25

Family

ID=81203903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210092512.XA Active CN114378827B (zh) 2022-01-26 2022-01-26 一种基于移动机械臂整体控制的动态目标跟踪抓取方法

Country Status (1)

Country Link
CN (1) CN114378827B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965628B (zh) * 2023-03-16 2023-06-02 湖南大学 一种工件涂装质量在线动态检测方法及检测系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000045229A1 (en) * 1999-01-29 2000-08-03 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
WO2016193781A1 (en) * 2015-05-29 2016-12-08 Benemérita Universidad Autónoma De Puebla Motion control system for a direct drive robot through visual servoing
WO2017132905A1 (zh) * 2016-02-03 2017-08-10 华为技术有限公司 控制运动系统的方法和装置
CN109159151A (zh) * 2018-10-23 2019-01-08 北京无线电测量研究所 一种机械臂空间轨迹跟踪动态补偿方法和系统
CN110315535A (zh) * 2019-06-10 2019-10-11 西北工业大学 一种基于连续路径的机器人目标抓取检测方法
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN112847334A (zh) * 2020-12-16 2021-05-28 北京无线电测量研究所 一种基于视觉伺服的机械臂目标跟踪方法
CN113146620A (zh) * 2021-03-16 2021-07-23 南京工程学院 基于双目视觉的双臂协作机器人系统和控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000045229A1 (en) * 1999-01-29 2000-08-03 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
WO2016193781A1 (en) * 2015-05-29 2016-12-08 Benemérita Universidad Autónoma De Puebla Motion control system for a direct drive robot through visual servoing
WO2017132905A1 (zh) * 2016-02-03 2017-08-10 华为技术有限公司 控制运动系统的方法和装置
CN109159151A (zh) * 2018-10-23 2019-01-08 北京无线电测量研究所 一种机械臂空间轨迹跟踪动态补偿方法和系统
CN110315535A (zh) * 2019-06-10 2019-10-11 西北工业大学 一种基于连续路径的机器人目标抓取检测方法
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN112847334A (zh) * 2020-12-16 2021-05-28 北京无线电测量研究所 一种基于视觉伺服的机械臂目标跟踪方法
CN113146620A (zh) * 2021-03-16 2021-07-23 南京工程学院 基于双目视觉的双臂协作机器人系统和控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉的机械臂空间目标抓取策略研究;李宇飞;高朝辉;申麟;;中国科学:技术科学(第01期);第31-35页 *

Also Published As

Publication number Publication date
CN114378827A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN107901041B (zh) 一种基于图像混合矩的机器人视觉伺服控制方法
JP2769947B2 (ja) マニピュレータの位置・姿勢制御方法
Baeten et al. Hybrid vision/force control at corners in planar robotic-contour following
CN103240739B (zh) 一种移动机械臂分散集中自主切换控制方法
Siradjuddin et al. A position based visual tracking system for a 7 DOF robot manipulator using a Kinect camera
CN113146620A (zh) 基于双目视觉的双臂协作机器人系统和控制方法
Li et al. A hybrid visual servo control method for simultaneously controlling a nonholonomic mobile and a manipulator
CN111515928B (zh) 机械臂运动控制系统
CN112894812A (zh) 一种面向机械臂的视觉伺服轨迹跟踪控制方法及系统
CN114378827B (zh) 一种基于移动机械臂整体控制的动态目标跟踪抓取方法
CN110842918A (zh) 一种基于点云伺服的机器人移动加工自主寻位方法
Han et al. Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning
CN115122325A (zh) 一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法
CN116423114A (zh) 一种移动焊接机器人车臂协同跟踪方法
Bae et al. A dynamic visual servoing of robot manipulator with eye-in-hand camera
CN114888768A (zh) 一种基于多传感器融合的移动双工业机器人协同抓取系统及方法
CN112847362B (zh) 一种基于图像矩的搬运机器人视觉伺服控制方法
Luo et al. Robotic conveyor tracking with dynamic object fetching for industrial automation
Guangyao et al. Visual servo control of omnidirectional mobile manipulator
Cao et al. Visual Servo Control for wheeled robot platooning based on homography
Wang et al. Visual servo control and parameter calibration for mobile multi-robot cooperative assembly tasks
Wang et al. Vision-Based Conveyor Belt Workpiece Grabbing Using the SCARA Robotic Arm
CN117055361B (zh) 基于滑模模型预测控制的移动机器人控制方法
Yang et al. Collision avoidance trajectory planning for a dual-robot system: using a modified APF method
Yong et al. A movement planning and control method of special robot over obstacle based on centroid monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant