CN112847334B - 一种基于视觉伺服的机械臂目标跟踪方法 - Google Patents

一种基于视觉伺服的机械臂目标跟踪方法 Download PDF

Info

Publication number
CN112847334B
CN112847334B CN202011483516.8A CN202011483516A CN112847334B CN 112847334 B CN112847334 B CN 112847334B CN 202011483516 A CN202011483516 A CN 202011483516A CN 112847334 B CN112847334 B CN 112847334B
Authority
CN
China
Prior art keywords
mechanical arm
image
joint
target
jacobian matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011483516.8A
Other languages
English (en)
Other versions
CN112847334A (zh
Inventor
吕泽杉
高景一
韩华涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Radio Measurement
Original Assignee
Beijing Institute of Radio Measurement
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Radio Measurement filed Critical Beijing Institute of Radio Measurement
Priority to CN202011483516.8A priority Critical patent/CN112847334B/zh
Publication of CN112847334A publication Critical patent/CN112847334A/zh
Application granted granted Critical
Publication of CN112847334B publication Critical patent/CN112847334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明的一个实施例公开了一种基于视觉伺服的机械臂目标跟踪方法，包括以下步骤：在图像识别周期内图像采集及特征识别模块利用工业摄像头实时采集目标的图像特征，检测出图像特征坐标信息；视觉伺服运算模块根据所述图像特征坐标信息进行图像雅可比矩阵在线估计，计算出当前时刻机械臂末端的空间速度；机械臂运动控制器模块将所述当前时刻机械臂末端的空间速度转化为机械臂控制周期内关节目标角速度，利用机械臂控制周期时间常数积分为机械臂关节目标角度；在所述利用机械臂控制周期时间常数积分为机械臂关节目标角度的同时，速度前馈补偿模块对机械臂关节目标角度进行动态补偿，实时调整机械臂关节目标角度，完成目标的跟踪。

Description

一种基于视觉伺服的机械臂目标跟踪方法
技术领域
本发明涉及机器视觉领域，更具体地，涉及一种基于视觉伺服的机械臂目标跟踪方法。
背景技术
工业机器人领域对制造业智能化和柔性化程度提出了新的要求，工业机器人的市场需求也从传统的工业机器人结构化场景、重复性操作、灵活性差的应用场景逐渐相多样式、小批量，智能化的生产方式取代，对工业机器人具备感知外界环境变化的能力提出了新要求，而基于视觉的伺服控制技术可解决一些场景下的关键问题，如末端辅助柔性装配，空间目标对接等。
视觉伺服控制在技术上包括基于图像的、基于位置的、基于2.5D的视觉伺服控制方法。基于图像的视觉伺服方法中最重要的就是确定图像雅可比矩阵的参数，一般可常用刚体运动模型推导出线性化图像雅可比矩阵，也有学者不考虑相机标定信息，利用卡尔曼滤波实时在线估计图像雅可比矩阵，但是在实际操作任务中，视觉系统的延迟，机械臂的动力学等都会对系统产生影响。
中国发明专利(申请号201811643848.0)名称“一种基于SVM和比例控制的视觉伺服方法”公开了基于SVM训练模型对样本数据进行训练，输出基于SVM的雅克比矩阵，然后、基于当前图像与目标图像的图像特征差值向量及雅克比矩阵，获得机器人达到目标位置时的期望关节角向量。但该方法中SVM算法时间消耗较大，视觉识别周期会加大，导致远远大于机器人控制周期，系统控制并且达不到实时性的要求，伺服系统动态滞后会加大。而且SVM训练得到的结果十分依赖训练样本的选取，雅可比矩阵的计算准确值会受到样本影响产生偏差。
发明内容
本发明的目的在于提供一种基于视觉伺服的机械臂目标跟踪方法，在基于图像的视觉伺服的基础上加入α-β滤波方法改进图像雅可比矩阵的估计，而且将视觉伺服计算出的关节目标角速度作为前馈补偿进入机器人控制周期内，提高了机械臂视觉伺服的动态跟踪能力和速度平稳性。
为实现上述目的，本发明提供如下方案：
本发明提供了一种基于视觉伺服的机械臂目标跟踪方法，包括以下步骤：
在图像识别周期内图像采集及特征识别模块利用工业摄像头实时采集目标的图像特征，检测出图像特征坐标信息；
视觉伺服运算模块根据所述图像特征坐标信息进行图像雅可比矩阵在线估计，计算出当前时刻机械臂末端的空间速度；
机械臂运动控制器模块将所述当前时刻机械臂末端的空间速度转化为机械臂控制周期内关节目标角速度，利用机械臂控制周期时间常数积分为机械臂关节目标角度；
在所述利用机械臂控制周期时间常数积分为机械臂关节目标角度的同时，速度前馈补偿模块对机械臂关节目标角度进行动态补偿，实时调整机械臂关节目标角度，完成目标的跟踪。
在一个具体实施例中，所述目标的图像特征为平面矩形顶点标注的四个图像特征。
在一个具体实施例中，所述图像特征为圆形图像特征；
所述在图像识别周期内图像采集及特征识别模块利用工业摄像头实时采集目标的图像特征，检测出图像特征坐标信息之前，所述方法还包括：
将工业摄像头通过工装固定在六自由度的机械臂末端；
移动机械臂，以使得四个圆形图像特征全部位于工业摄像头视野范围内，且其圆心像素坐标为pi＝(ui,vi),i＝1,2,3,4，其中，摄像头参数如下：焦距f，像素比例系数ρu,ρv，主点坐标(u0,v0)，机械臂目标跟踪开始时必须保证。
在一个具体实施例中，所述视觉伺服运算模块根据所述图像特征坐标信息进行图像雅可比矩阵在线估计，计算出当前时刻机械臂末端的空间速度，包括：
视觉伺服模块使用α-β滤波方法进行图像雅可比矩阵在线估计。
在一个具体实施例中，所述视觉伺服模块使用α-β滤波方法进行图像雅可比矩阵在线估计，包括：
S100、计算所述四个圆形图像特征圆心像素坐标相对于所述主点的速度，
Figure GDA0003636247540000031
表示为
Figure GDA0003636247540000032
其中，
Figure GDA0003636247540000033
为工业摄像头的刚体速度，机械臂有六个关节，一个关节是一个轴，
Figure GDA0003636247540000034
为当前时刻机械臂末端的空间速度表示为沿各轴的平移速度，
Figure GDA0003636247540000035
为与绕各轴的旋转角速度，Jp为所述图像雅可比矩阵；
S102、归一化像素坐标变换：
Figure GDA0003636247540000036
S104、得到K时刻图像雅可比矩阵测量值：
Figure GDA0003636247540000037
S106、将α-β滤波器应用于图像雅可比矩阵估计中，将图像雅可比矩阵的各个元素看作机械臂视觉伺服控制系统的状态，并以此为机械臂视觉伺服控制系统状态构造线性系统，离散化形式如下：
Figure GDA0003636247540000041
其中，Jm表示图像雅可比矩阵测量值，Js表示图像雅可比矩阵平滑值，Jp表示图像雅可比矩阵估计值，K表示时刻时间常数，T为视觉采样周期时间，α为位置滤波参数，β为速度滤波参数，参数满足以下范围保证滤波器稳定状态：
Figure GDA0003636247540000042
S108、计算视觉伺服控制模式下工业摄像头刚体速度
Figure GDA0003636247540000043
其中，J+表示J广义逆，
Figure GDA0003636247540000044
表示Jp的广义逆，λ为比例控制系数，
Figure GDA0003636247540000045
为四点图像特征期望值。
在一个具体实施例中，所述机械臂运动控制器模块将所述当前时刻机械臂末端的空间速度转化为机械臂控制周期内关节目标角速度，利用机械臂控制周期时间常数积分为机械臂关节目标角度，包括：
S200、计算关节目标角速度
Figure GDA0003636247540000046
Figure GDA0003636247540000047
其中，
Figure GDA0003636247540000048
为机械臂雅可比矩阵，
Figure GDA0003636247540000049
为机械臂各关节码盘当前角度；
S202、利用关节目标角速度积分得到机械臂关节目标角度：
Figure GDA00036362475400000410
其中，初始0时刻，机械臂关节目标角度等于关节马盘当前测量角度：
Figure GDA00036362475400000411
S204、利用双线性z变换得到工业摄像头采集图像周期Tv下k时刻关节目标角度θJ v(kTv)：
Figure GDA0003636247540000051
S208、对工业摄像头采集图像周期Tv下k时刻下线性插值，转化为机械臂控制周期Tr下m时刻的关节目标偏差角
Figure GDA0003636247540000052
Figure GDA0003636247540000053
其中Tv是Tr的整数倍，有TvmodTr＝0，0≤m<Tv/Tr。
在一个具体实施例中，所述速度前馈补偿模块对机械臂关节目标角度进行动态补偿，实时调整机械臂关节目标角度，完成目标的跟踪，包括：
S300、计算关节控制器输出关节目标速度
Figure GDA0003636247540000054
Figure GDA0003636247540000055
其中，
Figure GDA0003636247540000056
为机械臂关节控制器接收的所述码盘测量角度，Kθ为机械臂关节控制器选用比例控制的比例系数；
S302、将所述机械臂关节目标角速度作为速度前馈补偿值
Figure GDA0003636247540000057
输入到机械臂关节驱动器做速度环闭环，
Figure GDA0003636247540000058
其中速度前馈补偿系数0<λθ<1；
S304、得到输入到机械臂关节控制器的关节目标速度值
Figure GDA0003636247540000059
Figure GDA00036362475400000510
S306、机械臂关节控制器完成关节速度环闭环和电流环闭环，驱动机械臂本体带动末端工业摄像头实时调整机械臂各关节角度，完成目标的跟踪。
在一个具体实施例中，图像采集及特征识别模块基于Visual Studio平台搭建opencv模块实现，机械臂的运动在RTX平台下实现，图像特征坐标信息通过共享内存机制在Visual Studio平台和RTX平台通信。
在一个具体实施例中，所述图像特征包括圆形、远点和交叉线段。
本发明的有益效果如下：
本发明原理简单、在基于图像的视觉伺服的基础上加入α-β滤波方法改进图像雅可比矩阵的估计，而且将视觉伺服计算出的关节目标角速度作为前馈补偿进入机器人控制周期内，提高了机械臂视觉伺服的动态跟踪能力和速度平稳性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本发明一个实施例一种基于视觉伺服的机械臂目标跟踪方法流程示意图。
具体实施方式
为使本发明的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明的一个实施例提供一种基于视觉伺服的机械臂目标跟踪方法，如图1所示，包括以下步骤：
在图像识别周期内图像采集及特征识别模块利用工业摄像头实时采集目标的图像特征，检测出图像特征坐标信息；
视觉伺服运算模块根据所述图像特征坐标信息进行图像雅可比矩阵在线估计，计算出当前时刻机械臂末端的空间速度；
机械臂运动控制器模块将所述当前时刻机械臂末端的空间速度转化为机械臂控制周期内关节目标角速度，利用机械臂控制周期时间常数积分为机械臂关节目标角度；
在所述利用机械臂控制周期时间常数积分为机械臂关节目标角度的同时，速度前馈补偿模块对机械臂关节目标角度进行动态补偿，实时调整机械臂关节目标角度，完成目标的跟踪。
在一个具体实施例中，所述目标的图像特征为平面矩形顶点标注的四个图像特征。
在一个具体实施例中，所述图像特征为圆形图像特征；
所述在图像识别周期内图像采集及特征识别模块利用工业摄像头实时采集目标的图像特征，检测出图像特征坐标信息之前，所述方法还包括：
将工业摄像头通过工装固定在六自由度的机械臂末端；
移动机械臂，以使得四个圆形图像特征全部位于工业摄像头视野范围内，且其圆心像素坐标为pi＝(ui,vi),i＝1,2,3,4，其中，摄像头参数如下：焦距f，像素比例系数ρu,ρv，主点坐标(u0,v0)，机械臂目标跟踪开始时必须保证。
在一个具体实施例中，所述视觉伺服运算模块根据所述图像特征坐标信息进行图像雅可比矩阵在线估计，计算出当前时刻机械臂末端的空间速度，包括：
视觉伺服模块使用α-β滤波方法进行图像雅可比矩阵在线估计。
在一个具体实施例中，所述视觉伺服模块使用α-β滤波方法进行图像雅可比矩阵在线估计，包括：
S100、计算所述四个圆形图像特征圆心像素坐标相对于所述主点的速度，
Figure GDA0003636247540000081
表示为
Figure GDA0003636247540000082
其中，
Figure GDA0003636247540000083
为工业摄像头的刚体速度，机械臂有六个关节，一个关节是一个轴，
Figure GDA0003636247540000084
为当前时刻机械臂末端的空间速度表示为沿各轴的平移速度，
Figure GDA0003636247540000085
为与绕各轴的旋转角速度，Jp为所述图像雅可比矩阵；
S102、归一化像素坐标变换：
Figure GDA0003636247540000086
S104、得到K时刻图像雅可比矩阵测量值：
Figure GDA0003636247540000087
S106、将α-β滤波器应用于图像雅可比矩阵估计中，将图像雅可比矩阵的各个元素看作机械臂视觉伺服控制系统的状态，并以此为机械臂视觉伺服控制系统状态构造线性系统，离散化形式如下：
Figure GDA0003636247540000088
其中，Jm表示图像雅可比矩阵测量值，Js表示图像雅可比矩阵平滑值，Jp表示图像雅可比矩阵估计值，K表示时刻时间常数，T为视觉采样周期时间，α为位置滤波参数，β为速度滤波参数，参数满足以下范围保证滤波器稳定状态：
Figure GDA0003636247540000091
S108、计算视觉伺服控制模式下工业摄像头刚体速度
Figure GDA0003636247540000092
其中，J+表示J广义逆，
Figure GDA0003636247540000093
表示Jp的广义逆，λ为比例控制系数，
Figure GDA0003636247540000094
为四点图像特征期望值。
在一个具体实施例中，所述机械臂运动控制器模块将所述当前时刻机械臂末端的空间速度转化为机械臂控制周期内关节目标角速度，利用机械臂控制周期时间常数积分为机械臂关节目标角度，包括：
S200、计算关节目标角速度
Figure GDA0003636247540000095
Figure GDA0003636247540000096
其中，
Figure GDA0003636247540000097
为机械臂雅可比矩阵，
Figure GDA0003636247540000098
为机械臂各关节码盘当前角度；
S202、利用关节目标角速度积分得到机械臂关节目标角度：
Figure GDA0003636247540000099
其中，初始0时刻，机械臂关节目标角度等于关节马盘当前测量角度：
Figure GDA00036362475400000910
S204、利用双线性z变换得到工业摄像头采集图像周期Tv下k时刻关节目标角度θJ v(kTv)：
Figure GDA00036362475400000911
S208、对工业摄像头采集图像周期Tv下k时刻下线性插值，转化为机械臂控制周期Tr下m时刻的关节目标偏差角
Figure GDA00036362475400000912
Figure GDA00036362475400000913
其中Tv是Tr的整数倍，有TvmodTr＝0，0≤m<Tv/Tr。
在一个具体实施例中，所述速度前馈补偿模块对机械臂关节目标角度进行动态补偿，实时调整机械臂关节目标角度，完成目标的跟踪，包括：
S300、计算关节控制器输出关节目标速度
Figure GDA0003636247540000101
Figure GDA0003636247540000102
其中，
Figure GDA0003636247540000103
为机械臂关节控制器接收的所述码盘测量角度，Kθ为机械臂关节控制器选用比例控制的比例系数；
S302、将所述机械臂关节目标角速度作为速度前馈补偿值
Figure GDA0003636247540000104
输入到机械臂关节驱动器做速度环闭环，
Figure GDA0003636247540000105
其中速度前馈补偿系数0<λθ<1；
S304、得到输入到机械臂关节控制器的关节目标速度值
Figure GDA0003636247540000106
Figure GDA0003636247540000107
S306、机械臂关节控制器完成关节速度环闭环和电流环闭环，驱动机械臂本体带动末端工业摄像头实时调整机械臂各关节角度，完成目标的跟踪。
在一个具体实施例中，图像采集及特征识别模块基于Visual Studio平台搭建opencv模块实现，机械臂的运动在RTX平台下实现，图像特征坐标信息通过共享内存机制在Visual Studio平台和RTX平台通信。
在一个具体实施例中，所述图像特征包括但不限于圆形、远点和交叉线段。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (5)

1.一种基于视觉伺服的机械臂目标跟踪方法，其特征在于，包括以下步骤：
在图像识别周期内图像采集及特征识别模块利用工业摄像头实时采集目标的图像特征，检测出图像特征坐标信息；
视觉伺服运算模块根据所述图像特征坐标信息进行图像雅可比矩阵在线估计，计算出当前时刻机械臂末端的空间速度；
机械臂运动控制器模块将所述当前时刻机械臂末端的空间速度转化为机械臂控制周期内关节目标角速度，利用机械臂控制周期时间常数积分为机械臂关节目标角度；
在所述利用机械臂控制周期时间常数积分为机械臂关节目标角度的同时，速度前馈补偿模块对机械臂关节目标角度进行动态补偿，实时调整机械臂关节目标角度，完成目标的跟踪；
所述目标的图像特征为平面矩形顶点标注的四个图像特征；
所述图像特征为圆形图像特征；
所述在图像识别周期内图像采集及特征识别模块利用工业摄像头实时采集目标的图像特征，检测出图像特征坐标信息之前，所述方法还包括：
将工业摄像头通过工装固定在六自由度的机械臂末端；
移动机械臂，以使得四个圆形图像特征全部位于工业摄像头视野范围内，且其圆心像素坐标为pi＝(ui,vi),i＝1,2,3,4，其中，摄像头参数如下：焦距f，像素比例系数ρu,ρv，主点坐标(u0,v0)，机械臂目标跟踪开始时必须保证；
所述视觉伺服运算模块根据所述图像特征坐标信息进行图像雅可比矩阵在线估计，计算出当前时刻机械臂末端的空间速度，包括：
视觉伺服模块使用α-β滤波方法进行图像雅可比矩阵在线估计；
所述视觉伺服模块使用α-β滤波方法进行图像雅可比矩阵在线估计，包括：
S100、计算所述四个圆形图像特征圆心像素坐标相对于所述主点的速度，
Figure FDA0003636247530000021
表示为
Figure FDA0003636247530000022
其中，
Figure FDA0003636247530000023
为工业摄像头的刚体速度，机械臂有六个关节，一个关节是一个轴，
Figure FDA0003636247530000024
为当前时刻机械臂末端的空间速度表示为沿各轴的平移速度，
Figure FDA0003636247530000025
为与绕各轴的旋转角速度，Jp为所述图像雅可比矩阵；
S102、归一化像素坐标变换：
Figure FDA0003636247530000026
S104、得到K时刻图像雅可比矩阵测量值：
Figure FDA0003636247530000027
S106、将α-β滤波器应用于图像雅可比矩阵估计中，将图像雅可比矩阵的各个元素看作机械臂视觉伺服控制系统的状态，并以此为机械臂视觉伺服控制系统状态构造线性系统，离散化形式如下：
Figure FDA0003636247530000028
其中，Jm表示图像雅可比矩阵测量值，Js表示图像雅可比矩阵平滑值，Jp表示图像雅可比矩阵估计值，K表示时刻时间常数，T为视觉采样周期时间，α为位置滤波参数，β为速度滤波参数，参数满足以下范围保证滤波器稳定状态：
Figure FDA0003636247530000031
S108、计算视觉伺服控制模式下工业摄像头刚体速度
Figure FDA0003636247530000032
其中，J+表示J广义逆，
Figure FDA0003636247530000033
表示Jp的广义逆，λ为比例控制系数，
Figure FDA0003636247530000034
为四点图像特征期望值。
2.根据权利要求1所述的方法，其特征在于，所述机械臂运动控制器模块将所述当前时刻机械臂末端的空间速度转化为机械臂控制周期内关节目标角速度，利用机械臂控制周期时间常数积分为机械臂关节目标角度，包括：
S200、计算关节目标角速度
Figure FDA0003636247530000035
其中，
Figure FDA0003636247530000036
为机械臂雅可比矩阵，
Figure FDA0003636247530000037
为机械臂各关节码盘当前角度；
S202、利用关节目标角速度积分得到机械臂关节目标角度：
Figure FDA0003636247530000038
其中，初始0时刻，机械臂关节目标角度等于关节马盘当前测量角度：
Figure FDA0003636247530000039
S204、利用双线性z变换得到工业摄像头采集图像周期Tv下k时刻关节目标角度θJ v(kTv)：
Figure FDA00036362475300000310
S208、对工业摄像头采集图像周期Tv下k时刻下线性插值，转化为机械臂控制周期Tr下m时刻的关节目标偏差角ΔθJ r(kTv+mTr)：
Figure FDA00036362475300000311
其中Tv是Tr的整数倍，有TvmodTr＝0，0≤m<Tv/Tr。
3.根据权利要求2所述的方法，其特征在于，所述速度前馈补偿模块对机械臂关节目标角度进行动态补偿，实时调整机械臂关节目标角度，完成目标的跟踪，包括：
S300、计算关节控制器输出关节目标速度
Figure FDA0003636247530000041
Figure FDA0003636247530000042
其中，
Figure FDA0003636247530000043
为机械臂关节控制器接收的所述码盘测量角度，Kθ为机械臂关节控制器选用比例控制的比例系数；
S302、将所述机械臂关节目标角速度作为速度前馈补偿值
Figure FDA0003636247530000044
输入到机械臂关节驱动器做速度环闭环，
Figure FDA0003636247530000045
其中速度前馈补偿系数0<λθ<1；
S304、得到输入到机械臂关节控制器的关节目标速度值
Figure FDA0003636247530000046
Figure FDA0003636247530000047
S306、机械臂关节控制器完成关节速度环闭环和电流环闭环，驱动机械臂本体带动末端工业摄像头实时调整机械臂各关节角度，完成目标的跟踪。
4.根据权利要求1所述的方法，其特征在于，图像采集及特征识别模块基于VisualStudio平台搭建opencv模块实现，机械臂的运动在RTX平台下实现，图像特征坐标信息通过共享内存机制在Visual Studio平台和RTX平台通信。
5.根据权利要求1所述的方法，其特征在于，所述图像特征包括圆形、远点和交叉线段。
CN202011483516.8A 2020-12-16 2020-12-16 一种基于视觉伺服的机械臂目标跟踪方法 Active CN112847334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011483516.8A CN112847334B (zh) 2020-12-16 2020-12-16 一种基于视觉伺服的机械臂目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011483516.8A CN112847334B (zh) 2020-12-16 2020-12-16 一种基于视觉伺服的机械臂目标跟踪方法

Publications (2)

Publication Number Publication Date
CN112847334A CN112847334A (zh) 2021-05-28
CN112847334B true CN112847334B (zh) 2022-09-23

Family

ID=75997278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011483516.8A Active CN112847334B (zh) 2020-12-16 2020-12-16 一种基于视觉伺服的机械臂目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112847334B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591542B (zh) * 2021-06-04 2024-01-26 江汉大学 一种机器人的视觉伺服控制方法、装置以及设备
CN113246138B (zh) * 2021-06-10 2022-05-13 浙江大学 基于绳驱多关节冗余驱动机械臂的视觉伺服补偿控制方法
CN113799127B (zh) * 2021-09-15 2023-05-23 华南理工大学 光学双目定位系统下六自由度机械臂无标定位姿定位方法
CN116408790A (zh) * 2021-12-31 2023-07-11 广东美的白色家电技术创新中心有限公司 机器人控制方法、装置、系统及存储介质
CN114378827B (zh) * 2022-01-26 2023-08-25 北京航空航天大学 一种基于移动机械臂整体控制的动态目标跟踪抓取方法
CN114750154A (zh) * 2022-04-25 2022-07-15 贵州电网有限责任公司 一种配网带电作业机器人的动态目标识别定位与抓取方法
CN116079697B (zh) * 2022-12-23 2024-05-28 北京纳通医用机器人科技有限公司 一种基于图像的单目视觉伺服方法、装置、设备及介质
CN116494250B (zh) * 2023-06-26 2023-11-03 极限人工智能(北京)有限公司 基于速度补偿的机械臂控制方法、控制器、介质及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005046942A1 (ja) * 2003-11-13 2005-05-26 Japan Science And Technology Agency ロボットの駆動方法
WO2018229898A1 (ja) * 2017-06-14 2018-12-20 三菱電機株式会社 状態推定装置
CN110039542A (zh) * 2019-06-13 2019-07-23 东北大学 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3583777B2 (ja) * 1992-01-21 2004-11-04 エス・アール・アイ・インターナシヨナル テレオペレータシステムとテレプレゼンス法
CN101402199B (zh) * 2008-10-20 2011-01-26 北京理工大学 基于视觉的手眼式低伺服精度机器人抓取移动目标的方法
CN101582692B (zh) * 2009-06-12 2012-02-22 东南大学 一种提高数字锁相环性能的方法
US8295547B1 (en) * 2010-05-26 2012-10-23 Exelis, Inc Model-based feature tracking in 3-D and 2-D imagery
CN102929288B (zh) * 2012-08-23 2015-03-04 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法
CN104808590B (zh) * 2015-02-14 2017-01-25 浙江大学 一种基于关键帧策略的移动机器人视觉伺服控制方法
CN106651949B (zh) * 2016-10-17 2020-05-15 中国人民解放军63920部队 一种基于仿真的空间机械臂抓捕目标遥操作方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005046942A1 (ja) * 2003-11-13 2005-05-26 Japan Science And Technology Agency ロボットの駆動方法
WO2018229898A1 (ja) * 2017-06-14 2018-12-20 三菱電機株式会社 状態推定装置
CN110039542A (zh) * 2019-06-13 2019-07-23 东北大学 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统

Also Published As

Publication number Publication date
CN112847334A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112847334B (zh) 一种基于视觉伺服的机械臂目标跟踪方法
CN111300422B (zh) 基于视觉图像的机器人工件抓取位姿误差补偿方法
CN109655024B (zh) 采用空间变换技术的位移传感器外部参数标定方法
CN110695991B (zh) 基于变异粒子群优化的自动手眼标定方法
CN110253574B (zh) 一种多任务机械臂位姿检测和误差补偿方法
CN109465829B (zh) 一种基于转换矩阵误差模型的工业机器人几何参数辨识方法
CN111203880B (zh) 基于数据驱动的图像视觉伺服控制系统及方法
CN111805547B (zh) 一种轨迹动态跟踪实现方法
CN116740183B (zh) 一种双视角舱体位姿调整方法
CN112894812A (zh) 一种面向机械臂的视觉伺服轨迹跟踪控制方法及系统
CN113858217A (zh) 多机器人交互的三维视觉位姿感知方法及系统
CN113733088A (zh) 一种基于双目视觉的机械臂运动学自标定方法
CN110883770A (zh) 一种基于位置和图像的机器人混合视觉伺服控制方法
CN114067210A (zh) 一种基于单目视觉导引的移动机器人智能抓取方法
CN113051767A (zh) 一种基于视觉伺服的agv滑模控制方法
Luo et al. Low cost solution for calibration in absolute accuracy of an industrial robot for iCPS applications
CN115218891A (zh) 一种移动机器人自主定位导航方法
CN112767481B (zh) 一种基于视觉边缘特征的高精度定位及建图方法
CN112767482B (zh) 一种多传感器融合的室内外定位方法及系统
CN110189359B (zh) 一种基于分类学习的快速智能跟踪方法和装置
CN114764830A (zh) 一种基于四元数ekf和未标定手眼系统的物体位姿估算方法
CN106826837B (zh) 一种水下机器人非视距控制系统
CN113298881B (zh) 单目相机-imu-机械臂的空间联合标定方法
Sun et al. Precise grabbing of overlapping objects system based on end-to-end deep neural network
CN109146957A (zh) 一种基于三角形特征的机器人视觉控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant