CN112132894A - 一种基于双目视觉引导的机械臂实时跟踪方法 - Google Patents

一种基于双目视觉引导的机械臂实时跟踪方法 Download PDF

Info

Publication number
CN112132894A
CN112132894A CN202010932018.0A CN202010932018A CN112132894A CN 112132894 A CN112132894 A CN 112132894A CN 202010932018 A CN202010932018 A CN 202010932018A CN 112132894 A CN112132894 A CN 112132894A
Authority
CN
China
Prior art keywords
mechanical arm
camera
matrix
workpiece
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010932018.0A
Other languages
English (en)
Other versions
CN112132894B (zh
Inventor
马建伟
吕琦
高松
闫惠腾
贾振元
刘巍
刘冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010932018.0A priority Critical patent/CN112132894B/zh
Publication of CN112132894A publication Critical patent/CN112132894A/zh
Application granted granted Critical
Publication of CN112132894B publication Critical patent/CN112132894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明一种基于双目视觉引导的机械臂实时跟踪方法属于机器人视觉技术领域，涉及工业机器人领域一种基于双目视觉引导的机械臂实时跟踪方法。该方法首先进行双目立体视觉标定、校正与匹配，机械臂正逆运动学建模。然后，建立双目相机与机械臂的坐标转换关系，通过双目相机快速采集图像序列。利用线性核相关滤波对相机采集的图像序列进行处理，并转化到机器人基坐标系{B}下，经运动学计算得到机械臂运动控制参数。最终，由机械臂控制器、机械臂本体、执行器完成相关作业任务。本发明所提出的跟踪方法能够适应工件尺度的变化，且兼顾实时性与鲁棒性，不确定性因素对系统的影响极大弱化，具有智能化、系统化程度高的特点。

Description

一种基于双目视觉引导的机械臂实时跟踪方法
技术领域
本发明属于机器人视觉技术领域，涉及工业机器人领域一种基于双目视觉引导的机械臂实时跟踪方法。
背景技术
目前以机器人技术为代表的智能制造模式发展迅速，机器视觉感知是一种高精度、非接触、广泛应用的技术，能够大大提高生产的自动化、智能化程度。然而，传统机械臂采用试教或离线编程方式控制机械臂按照规定动作完成加工、装配、搬运、抓取等作业任务，在复杂多变环境下，工件位姿无法确定，对于工业生产线上运动工件更是无法实时定位。根据视觉信息提供给机械臂工件位姿并引导机械臂跟踪工件完成相关作业任务，能够很大程度提高生产过程柔性。
目前国内外很多学者研究了机械臂跟踪抓取、搬运等动作，目标跟踪算法作为机器人实时获取目标位置来实施跟踪控制的核心，又分为生成类算法与判别式类算法。生成类算法主要包括经典的线性卡尔曼滤波及其非线性的改进算法，Meanshift算法与其基于颜色特征改进的Camshift算法，还有众多学者研究的适合于非线性非高斯系统的粒子滤波算法及改进算法；判别类算法是近几年目标跟踪算法的主流方向，比如相关滤波类算法，采用机器学习的方法将目标与背景分类，训练分类器，在下一帧中利用训练好的分类器寻找最优目标区域。西安交通大学韩久强等人公开的“基于Camshift视觉跟踪和D-H建模算法的视觉机械臂控制装置及方法”，专利号201510394465.4，利用传统Camshift算法虽然算法复杂度低，但对于复杂背景或者纹理丰富的物体跟踪效果较差。生成类算法忽略先验的背景信息，判别类算法虽显著提高跟踪性能，但主要应用于视频目标跟踪，在实际工业中上鲜有应用，未能提供机械臂视觉引导的解决方案。
发明内容
针对目前已有技术存在的不足，本发明旨在改变传统工业机器人示教或离线编程的作业模式，将机器人技术与快速发展的机器视觉技术相结合，提供一种基于双目视觉引导的机械臂实时跟踪方法，以应对工件状态的变化。本发明通过双目相机实时获取工件相对于相机的三维坐标及尺度，并通过相机与机械臂的坐标转换关系转化为工件相对于机械臂的空间坐标与实际尺寸，引导机械臂执行器到达工件位置完成预定作业任务。本发明所提出的方法将双目视觉、相关滤波算法与工业机器人相结合，使得机器人具备一定的环境感知能力，跟踪能够适应工件尺度的变化且兼顾实时性与鲁棒性，不确定性因素对系统的影响极大弱化，具有智能化、系统化程度高的特点。
本发明采用的技术方案是一种基于双目视觉引导的机械臂实时跟踪方法，该方法首先进行双目相机的标定、校正与匹配，机械臂正逆运动学建模。然后，建立机械臂与双目相机的坐标转换关系。最后通过双目相机快速采集图像序列，利用线性核相关滤波与一维相关滤波融合算法对左相机相机采集的图像序列进行处理，获取每一帧图像的工件中心二维坐标以及工件尺度。同时，左、右相机采集图像经立体匹配得到深度图像，两者结合得到每一帧图像中工件中心相对于左相机的三维坐标，并转化到机器人基坐标系{B}下，经运动学计算得到机械臂运动控制参数。最终由机械臂控制器、机械臂本体、执行器完成相关作业任务。方法的具体步骤如下：
步骤一：双目立体视觉标定、校正与匹配；
获取工件中心三维空间坐标是实现跟踪控制的前提，双目相机仿生人眼可精确定位空间物体。首先，采用张氏标定法对左右相机分别标定，即使用左、右相机C1、C2同时拍摄M张不同位姿的黑白棋盘格标定板，提取角点，根据张氏标定法计算两相机内参矩阵：
Figure BDA0002670542600000031
式中，fx＝f/dx，fy＝f/dy，f为焦距，dx、dy分别为单位像素在图像平面x和y方向的物理尺寸；uo、vo分别为图像坐标系原点在像素坐标系x和y方向的坐标。
由于相机透镜存在畸变，畸变模型可由泰勒展开得到，保留前两位径向畸变系数k1，k2，切向畸变系数p1，p2；同时，标定得到左相机C1的外参矩阵[Rc1|Tc1]和右相机C2的外参矩阵[Rc2|Tc2]，利用外参矩阵求出左、右相机C1、C2之间的旋转矩阵和平移向量：
Figure BDA0002670542600000032
式中，
Figure BDA0002670542600000033
表示旋转矩阵，
Figure BDA0002670542600000034
表示平移向量；
由于相机在实际安装过程中很难保证两个主光轴的绝对平行，先对相机立体极线校正、立体匹配处理得到左相机C1为基准的视差图，相机内参与基线长度已知，将视差图转化为深度图；
步骤二：机械臂运动学方程求解
跟踪作业任务由关节型六轴机械臂来完成，因此需要建立机器人基坐标{B}与末端的腕部坐标系{E}之间的映射关系；采用改进的D-H参数法求得正逆运动学解；
首先，计算正运动学解，机械臂的正运动学是已知各个关节参数，求解末端的腕部坐标系{E}相对基坐标{B}中的位姿
Figure BDA0002670542600000041
关节i到i-1间的坐标转换关系为：
Figure BDA0002670542600000042
式中ai-1为连杆i-1的长度，αi-1为连杆i-1的扭角，θi为连杆i的夹角，di为连杆i的距离；Rot表示旋转变换，Trans表示平移变换；等式右边可合并为：
Figure BDA0002670542600000043
式中，cθi＝cosθi，sθi＝sinθi，sαi-1＝sinαi-1，sαi-1＝sinαi-1；将六个关节分别用式(4)表示，于是得到基坐标系{B}到腕部坐标系{E}的关节空间中的映射关系：
Figure BDA0002670542600000044
其中，矩阵
Figure BDA0002670542600000045
分别为第一到第六坐标系相对于前一坐标系的齐次坐标变换矩阵；
其次，计算逆运动学解，逆运动学的求解过程是指根据已知的末端的腕部坐标系{E}相对基坐标{B}中的位姿
Figure BDA0002670542600000051
计算一系列满足期望的关节角(θ1,θ2,θ3,θ4,θ5,θ6)的过程。逆运动学有多种解法，这里采用反变换法得到封闭解；
步骤三：机械臂手眼标定
双目相机相对机械臂的位置采用眼到手(Eye-to-Hand)的固定方式，即左右相机安装于机械臂外；标定采用经典的Tsai两步法求解AX＝XB矩阵方程；标定前，首先将制作好的标定板固定于机械臂末端，并使得标定板尽量位于左相机C1的视野中心；标定时多次移动机械臂并用左相机C1拍摄当前位姿下的标定板，利用OPENCV获取相机坐标到标定板坐标的转换矩阵[R|T]c，同时记录下当前位姿矩阵[R|T]r，记
Figure BDA0002670542600000052
为相机C1到机械臂末端坐标系{E}的转换矩阵；因为标定时标定板{M}到机械臂末端{E}的坐标关系
Figure BDA0002670542600000053
保持不变，所以任意两个位姿i与位姿j满足：
Figure BDA0002670542600000054
式中，
Figure BDA0002670542600000055
与
Figure BDA0002670542600000056
分别表示机械臂末端位姿i与位姿j之间的旋转变换矩阵与平移向量，
Figure BDA0002670542600000057
与
Figure BDA0002670542600000058
分别表示相机C1到机械臂末端{E}的旋转变换矩阵与平移向量，
Figure BDA0002670542600000059
与
Figure BDA00026705426000000510
分别表示相机位姿i与位姿j之间的旋转变换矩阵与平移向量，I为单位矩阵；
旋转矩阵均为单位正交矩阵，即转置与逆相等；利用罗德里格斯变换得到左相机C1相对机械臂末端E的旋转向量
Figure BDA00026705426000000511
对旋转向量
Figure BDA00026705426000000512
进行罗德里格斯反转换为旋转矩阵
Figure BDA0002670542600000061
Figure BDA0002670542600000062
式中skew表示反对称运算，I表示单位矩阵。将
Figure BDA0002670542600000063
回代到公式(6)中得平移向量
Figure BDA0002670542600000064
Figure BDA0002670542600000065
至此，计算得到相机C1相对于机械臂末端{E}的手眼标定矩阵
Figure BDA0002670542600000066
步骤四：线性核相关滤波(DCF)定位工件中心
首先，左相机C1拍摄并通过图像采集卡处理得到包含工件与背景的第一帧图像，使用尺度不变特征变换(SIFT)算法模板匹配获取第一帧图像frame1中的工件中心的二维坐标(x1,y1)与工件尺寸P1×R1即得到工件图像所在区域，这样第一帧图像得到初始化；对工件所在区域提取快速方向梯度直方图(FHOG)特征，由快速傅里叶变换到频域得到训练样本
Figure BDA0002670542600000067
计算核函数矩阵
Figure BDA0002670542600000068
虑及实时跟踪，采用线性核函数，用公式(9)计算核相关滤波器
Figure BDA0002670542600000069
Figure BDA00026705426000000610
式中，
Figure BDA00026705426000000611
为核函数矩阵，λ为正则项系数，
Figure BDA00026705426000000612
为样本标签。
后续每一帧图像framet首先提取其FHOG特征，由快速傅里叶变换到频域得到检测样本
Figure BDA00026705426000000613
计算检测样本
Figure BDA00026705426000000614
与训练样本
Figure BDA00026705426000000615
的核函数矩阵
Figure BDA00026705426000000616
同样，以公式(9)计算核相关滤波器
Figure BDA00026705426000000617
最后利用公式(10)计算傅里叶域的回归方程
Figure BDA0002670542600000071
Figure BDA0002670542600000072
式中，
Figure BDA0002670542600000073
为核函数矩阵，⊙表示矩阵点乘，
Figure BDA0002670542600000074
表示核相关滤波器；
Figure BDA0002670542600000075
经傅里叶反变换得到的响应最大值处，即为当前帧图像framet的工件中心(xt,yt)，并以η为学习速率更新模板：
Figure BDA0002670542600000076
步骤五：一维相关滤波器尺度估计
通过步骤四的二维线性核相关滤波得到图像序列framet的中心二维坐标(xt,yt)，为了使得目标大小也能自适应变化，并行一个一维相关滤波器h估计目标大小；假设当前帧framet目标的大小为Pt×Rt，尺度级数为S，提取出尺度因子为a、尺度等级为n的S层特征金字塔，得到图像层Jn：
Figure BDA0002670542600000077
为寻找最合适的尺度作为目标大小，构造相关滤波器
Figure BDA0002670542600000078
Figure BDA0002670542600000079
式中，
Figure BDA00026705426000000710
为图像层Jn样本的傅里叶变换，
Figure BDA00026705426000000711
表示
Figure BDA00026705426000000712
的共轭矩阵，
Figure BDA00026705426000000713
表示高斯型期望g傅里叶变换的共轭矩阵，λs为正则化系数；记分子为At，分母记为Bt，相关滤波器与待搜索特征映射空间z通过式(14)计算可获得相关响应向量：
Figure BDA0002670542600000081
式中，符号F-1表示傅里叶反变换，最后以ηs为学习速率更新模板：
Figure BDA0002670542600000082
至此，得到当前帧工件尺度scalet，即最大响应ymax对应的尺寸索引；步骤六：双目相机引导机械臂跟踪控制
通过前述步骤得到每一帧图像中工件的深度信息depth、与机器人末端坐标系{E}手眼关系
Figure BDA0002670542600000083
二维坐标pos及尺度size，二维坐标pos与深度depth用位置矢量cP表示，手眼坐标转换得到工件空间坐标rP，读取此时机械臂转角θ并计算正运动学变换矩阵
Figure BDA0002670542600000084
不考虑末端位姿得到工件中心在机械臂基坐标系{B}下的笛卡尔位置矢量bP，解逆运动学方程计算出一组关节转角(θ1,θ2,θ3,θ4,θ5,θ6)传递给机器人控制器，驱动执行器到达工件位置，结合工件尺度size作为执行器的输入命令，执行器完成加工、装配、搬运、抓取作业任务。
本发明的显著效果和益处是结合双目视觉技术与传统工业机器人技术，将二维的核相关滤波跟踪算法与一维的尺度滤波算法融合到双目相机-机械臂跟踪控制系统，并通过多坐标传递将工件状态实时传递给机械臂，使得机器人具备一定的环境感知能力，实时应对复杂环境下工件状态随机变化的能力，提高了跟踪的速度与精度。本发明所提出的跟踪方法能够适应工件尺度的变化，且兼顾实时性与鲁棒性，不确定性因素对系统的影响极大弱化，具有智能化、系统化程度高的特点。
附图说明：
附图1-基于双目视觉引导的机械臂实时跟踪方法流程图。
附图2-基于双目视觉引导的机械臂实时跟踪系统示意图。其中，C1、C2-左、右相机，
附图3-工业机器人SR20A机械臂的结构图。其中，A-基座，B-连杆1，C-连杆2，D-连杆3，E-连杆4，F-连杆5，G-末端执行器，a2-连杆2的长度，a3-连杆3的长度，a4-连杆4的长度，d4-连杆3与连杆4的距离，d6-连杆5与末端执行器之间的距离。
附图4-实例中横坐标跟踪效果及跟踪误差。
附图5-实例中纵坐标跟踪效果及跟踪误差。
附图6-实例中尺度跟踪效果及跟踪误差。
具体实施方案
下面结合附图和技术方案详细叙述本发明的具体实施方式。
双目视觉引导的机械臂实时跟踪方法首先进行双目相机的标定、校正与匹配、机械臂正逆运动学建模。然后建立机械臂与双目相机的坐标转换关系。最后通过双目相机快速采集图像序列，利用线性核相关滤波与一维相关滤波融合算法对左相机C1相机采集的图像序列进行处理，获取每一帧图像的工件中心二维坐标以及工件尺度。同时，左、右相机C1、C2采集图像经立体匹配得到深度图像，两者结合得到每一帧图像中工件中心相对于左相机C1的三维坐标，并转化到机器人基坐标系{B}下，经运动学计算得到机械臂运动控制参数。最终由机械臂控制器、机械臂本体、执行器完成相关作业任务。
附图2为本发明的双目视觉引导的机械臂实时跟踪系统示意图，安装在机器人上方的左、右相机C1、C2与上位机相连，上位机、机器人控制器与工业机器人依次连接，安装在可移动台上的工件被安放在双目相机的视场内，构成了双目视觉引导的机械臂实时跟踪系统。
附图3为本专利实例所涉及的工业机器人SR20A具体结构图。工业机器人SR20A的机械臂由基座A、末端执行器G、1-5个连杆B、C、D、E、F，6个旋转关节组成，SR20A机械臂的改进D-H模型的运动学参数如下表所示：
关节 杆长a<sub>i-1</sub>(mm) 扭角α<sub>i-1</sub>(tad) 杆距d(mm) 转角θ(mm)
1 0 0 0 θ<sub>1</sub>
2 160 90° 0 θ<sub>2</sub>
3 790 0 0 θ<sub>3</sub>
4 155 90° 795 θ<sub>4</sub>
5 0 -90° 0 θ<sub>5</sub>
6 0 90° 145 θ<sub>6</sub>
附图1是基于双目视觉引导的机械臂实时跟踪方法流程图，方法的具体步骤如下：
步骤一：双目立体视觉标定、校正与匹配。
采用张氏标定法对左右相机分别标定，即使用左、右相机C1、C2拍摄M＝20张不同位姿的黑白棋盘格标定板，提取角点，用公式(1)计算两相机内参矩阵与畸变参数，并利用公式(2)外参矩阵求出左、右相机C1、C2之间的旋转矩阵和平移向量，结果如下：
左相机C1内参矩阵：
Figure BDA0002670542600000111
右相机C2内参矩阵：
Figure BDA0002670542600000112
左相机C1畸变系数：
Figure BDA0002670542600000113
右相机C2畸变系数：
Figure BDA0002670542600000114
旋转矩阵：
Figure BDA0002670542600000115
平移向量：
Figure BDA0002670542600000116
步骤二：基于改进的D-H参数法，建立SR20A机械臂各关节坐标系，运动学参数如表1所示。正逆运动学方程采用MATLAB机器人工具箱求解，通过公式(3)～(5)进行关节齐次坐标变换。
步骤三：SR20A机械臂与左相机C1手眼标定，
双目相机与机械臂间坐标传递模型的准确建立是实现精确跟踪控制的关键步骤，为获取相机坐标系与机械臂坐标系之间的关系，需要对机械臂手眼标定。多次移动机械臂，并用左相机C1拍摄当前位姿下的标定板，利用OPENCV获取相机坐标到标定板坐标的转换矩阵[R|T]c，同时记录下当前位姿矩阵[R|T]r，通过公式(6)～(8)进行手眼坐标转换，解矩阵方程得到手眼标定矩阵：
Figure BDA0002670542600000121
步骤四：基于核相关滤波算法定位目标中心是跟踪控制的核心，目标中心的定位采用基于快速方向梯度直方图特征提取的线性核相关滤波(DCF)，采用DCF的跟踪定位能够高帧率地检测到目标中心，对工件表面光照变化鲁棒，避免了密集采样，时间复杂度低。
以左相机C1拍摄的1350帧图像作为实例，通过公式(9)～(11)计算每一帧图像中跟踪到的工件中心二维坐标，得到的横、纵坐标跟踪效果及跟踪误差如附图4、附图5所示。与经标定过的真值对比，本专利采用的跟踪算法成功率达到100％，平均误差为0.75mm，远小于传统跟踪算法，平均帧率35.2fps，能够满足实时性要求。
步骤五：对步骤四1350帧图像同时提取工件尺度，通过公式(12)～(15)计算每一帧图像中跟踪到的目标尺度。一维相关滤波器尺度估计效果见附图6，附图6表示实例中尺度跟踪效果及跟踪误差。可见本专利采用的跟踪算法能够自适应尺度变换。
步骤六：假定实例第1000帧为当前帧，提取跟踪到图像坐标系下工件中心坐标与尺度，左、右相机C1、C2所捕获得图像通过双目立体匹配计算得当前帧工件中心深度(统一图像单位pix，统一长度单位mm，统一角度单位rad)：
Figure BDA0002670542600000131
通过左相机C1标定参数得到当前工件在左相机C1坐标系下的位置矢量：
cP＝[-423.83 -294.29 791.24]T
已知左相机C1与机械臂末端坐标系{E}之间的手眼标定矩阵，于是得到工件在机械臂末端坐标系{E}下的空间位置矢量：
rP＝[-434.2473 -434.2473 818.5364]T
读取此时机械臂转角为：
θ＝[0.0000 2.0944 -0.2618 0.0000 0.0000 0.0000]T
由正运动学计算得到：
Figure BDA0002670542600000141
于是得到工件中心在机械臂基坐标系{B}下的笛卡尔位置矢量：
rP＝[897.6282 -434.2473 183.9732]T
假设机械臂末端方向为与初始方向一致，解逆运动学方程计算出一组关节转角：
Figure BDA0002670542600000142
转角传递给机器人控制器，驱动执行器到达工件位置，同时工件尺寸98.2529×139.1191，作为执行器的输入命令，执行器完成加工、装配、搬运、抓取等作业任务。
本发明提供的双目视觉-机械臂跟踪方法兼顾运行的速度与跟踪的精度，使得机械臂能够在复杂环境完成工件状态不确定的加工、装配、搬运、抓取等作业任务。

Claims (1)

1.一种基于双目视觉引导的机械臂实时跟踪方法，其特征是，该方法首先进行双目相机的标定、校正与匹配；然后，建立机械臂与双目相机的坐标转换关系；最后通过双目相机快速采集图像序列，利用线性核相关滤波与一维相关滤波融合算法，对左相机采集的图像序列进行处理，获取每一帧图像的工件中心二维坐标以及工件尺度；同时，左右相机采集图像经立体匹配得到深度图像，两者结合得到每一帧图像中工件中心相对于左相机的三维坐标，并转化到机器人基坐标系{B}下，经运动学计算得到机械臂运动控制参数；最终，由机械臂控制器、机械臂本体、执行器完成相关作业任务；方法的具体步骤如下：
步骤一：双目立体视觉标定、校正与匹配；
获取工件中心三维空间坐标是实现跟踪控制的前提，双目相机仿生人眼可精确定位空间物体；首先，采用张氏标定法对左右相机分别标定，即使用左、右相机(C1、C2)同时拍摄M张不同位姿的黑白棋盘格标定板，提取角点，根据张氏标定法计算两相机内参矩阵：
Figure FDA0002670542590000011
式中，fx＝f/dx，fy＝f/dy，f为焦距，dx、dy分别为单位像素在图像平面x和y方向的物理尺寸；uo、vo分别为图像坐标系原点在像素坐标系x和y方向的坐标；
由于相机透镜存在畸变，畸变模型可由泰勒展开得到，保留前两位径向畸变系数k1，k2，切向畸变系数p1，p2；同时，标定得到左相机C1的外参矩阵[Rc1|Tc1]和右相机(C2)的外参矩阵[Rc2|Tc2]，利用外参矩阵求出左、右相机(C1、C2)之间的旋转矩阵和平移向量：
Figure FDA0002670542590000021
式中，
Figure FDA0002670542590000022
表示旋转矩阵，
Figure FDA0002670542590000023
表示平移向量；
由于双目相机在实际安装过程中很难保证两个主光轴的绝对平行，要对相机立体极线校正、立体匹配处理得到左相机(C1)为基准的视差图，双目相机内参与基线长度已知，将视差图转化为深度图；
步骤二：机械臂运动学方程求解
跟踪作业任务由关节型六轴机械臂来完成，因此需要建立机器人基坐标{B}与末端的腕部坐标系{E}之间的映射关系；采用改进的D-H参数法求得正逆运动学解；
首先，计算正运动学解，机械臂的正运动学是已知各个关节参数，求解末端的腕部坐标系{E}相对基坐标{B}中的位姿
Figure FDA0002670542590000026
关节i到i-1间的坐标转换关系为：
Figure FDA0002670542590000024
式中，ai-1为连杆i-1的长度，αi-1为连杆i-1的扭角，θi为连杆i的夹角，di为连杆i的距离；Rot表示旋转变换，Trans表示平移变换；等式右边合并后为：
Figure FDA0002670542590000025
式中，cθi＝cosθi，sθi＝sinθi，sαi-1＝sinαi-1，sαi-1＝sinαi-1；将六个关节分别用式(4)表示，于是得到基坐标系{B}到腕部坐标系{E}的关节空间中的映射关系：
Figure FDA0002670542590000031
其中，矩阵
Figure FDA0002670542590000032
分别为第一到第六坐标系相对于前一坐标系的齐次坐标变换矩阵；
其次，计算逆运动学解，逆运动学的求解过程是指根据已知的末端的腕部坐标系{E}相对基坐标{B}中的位姿
Figure FDA0002670542590000036
计算一系列满足期望的关节角(θ1,θ2,θ3,θ4,θ5,θ6)的过程；逆运动学有多种解法，这里采用反变换法得到封闭解；
步骤三：机械臂手眼标定
双目相机相对机械臂的位置采用眼到手的固定方式，即左右相机安装于机械臂外；标定采用经典的Tsai两步法求解AX＝XB矩阵方程；标定前，首先将制作好的标定板固定于机械臂末端，并使得标定板尽量位于左相机(C1)的视野中心；标定时多次移动机械臂并用左相机(C1)拍摄当前位姿下的标定板，利用OPENCV获取相机坐标到标定板坐标的转换矩阵[R|T]c，同时记录下当前位姿矩阵[R|T]r，记
Figure FDA0002670542590000033
为相机(C1)到机械臂末端坐标系{E}的转换矩阵；因为标定时标定板{M}到机械臂末端{E}的坐标关系
Figure FDA0002670542590000034
保持不变，所以任意两个位姿i与位姿j满足：
Figure FDA0002670542590000035
式中，
Figure FDA0002670542590000041
与
Figure FDA0002670542590000042
分别表示机械臂末端位姿i与位姿j之间的旋转变换矩阵与平移向量，
Figure FDA0002670542590000043
与
Figure FDA0002670542590000044
分别表示相机(C1)到机械臂末端{E}的旋转变换矩阵与平移向量，
Figure FDA0002670542590000045
与
Figure FDA0002670542590000046
分别表示相机位姿i与位姿j之间的旋转变换矩阵与平移向量，I为单位矩阵；
旋转矩阵均为单位正交矩阵，即转置与逆相等；利用罗德里格斯变换得到左相机(C1)相对机械臂末端E的旋转向量
Figure FDA0002670542590000047
对旋转向量
Figure FDA0002670542590000048
进行罗德里格斯反转换为旋转矩阵
Figure FDA0002670542590000049
Figure FDA00026705425900000410
式中，skew表示反对称运算，I表示单位矩阵；将
Figure FDA00026705425900000411
回代到公式(6)中得平移向量
Figure FDA00026705425900000412
Figure FDA00026705425900000413
至此，计算得到左相机(C1)相对于机械臂末端{E}的手眼标定矩阵
Figure FDA00026705425900000414
步骤四：线性核相关滤波定位工件中心
首先，左相机(C1)拍摄并通过图像采集卡处理得到包含工件与背景的第一帧图像，使用尺度不变特征变换算法模板匹配获取第一帧图像frame1中的工件中心的二维坐标(x1,y1)与工件尺寸P1×R1即得到工件图像所在区域，这样第一帧图像得到初始化；对工件所在区域提取快速方向梯度直方图特征，由快速傅里叶变换到频域得到训练样本
Figure FDA00026705425900000415
计算核函数矩阵
Figure FDA00026705425900000416
虑及实时跟踪，采用线性核函数，用公式(9)计算核相关滤波器
Figure FDA00026705425900000417
Figure FDA0002670542590000051
式中，
Figure FDA0002670542590000052
为核函数矩阵，λ为正则项系数，
Figure FDA0002670542590000053
为样本标签；
后续每一帧图像framet首先提取其快速方向梯度直方图特征，由快速傅里叶变换到频域得到检测样本
Figure FDA0002670542590000054
计算检测样本
Figure FDA0002670542590000055
与训练样本
Figure FDA0002670542590000056
的核函数矩阵
Figure FDA0002670542590000057
同样，以公式(9)计算核相关滤波器
Figure FDA0002670542590000058
最后，利用公式(10)计算傅里叶域的回归方程
Figure FDA0002670542590000059
Figure FDA00026705425900000510
式中，
Figure FDA00026705425900000511
为核函数矩阵，⊙表示矩阵点乘，
Figure FDA00026705425900000512
表示核相关滤波器；
Figure FDA00026705425900000513
经傅里叶反变换得到的响应最大值处，即为当前帧图像framet的工件中心(xt,yt)，并以η为学习速率更新模板：
Figure FDA00026705425900000514
步骤五：一维相关滤波器尺度估计
通过步骤四的二维线性核相关滤波得到图像序列framet的中心二维坐标(xt,yt)，为了使得目标大小也能自适应变化，并行一个一维相关滤波器h估计目标大小；假设当前帧framet目标的大小为Pt×Rt，尺度级数为S，提取出尺度因子为a、尺度等级为n的S层特征金字塔，得到图像层Jn：
Figure FDA00026705425900000515
为寻找最合适的尺度作为目标大小，构造相关滤波器
Figure FDA00026705425900000516
Figure FDA0002670542590000061
式中，
Figure FDA0002670542590000062
为图像层Jn样本的傅里叶变换，
Figure FDA0002670542590000063
表示
Figure FDA0002670542590000064
的共轭矩阵，
Figure FDA0002670542590000065
表示高斯型期望g傅里叶变换的共轭矩阵，λs为正则化系数；记分子为At，分母记为Bt，相关滤波器与待搜索特征映射空间z通过式(14)计算可获得相关响应向量：
Figure FDA0002670542590000066
式中，符号F-1表示傅里叶反变换，最后以ηs为学习速率更新模板：
Figure FDA0002670542590000067
至此，得到当前帧工件尺度scalet，即最大响应ymax对应的尺寸索引；
步骤六：双目相机引导机械臂跟踪控制
通过前述步骤得到每一帧图像中工件的深度信息depth、与机器人末端坐标系{E}手眼关系
Figure FDA0002670542590000068
二维坐标pos及尺度size，二维坐标pos与深度depth用位置矢量cP表示，手眼坐标转换得到工件空间坐标rP，读取此时机械臂转角θ并计算正运动学变换矩阵
Figure FDA0002670542590000069
不考虑末端位姿得到工件中心在机械臂基坐标系{B}下的笛卡尔位置矢量bP，解逆运动学方程计算出一组关节转角(θ1,θ2,θ3,θ4,θ5,θ6)传递给机器人控制器，驱动执行器到达工件位置，结合工件尺度size作为执行器的输入命令，执行器完成加工、装配、搬运、抓取作业任务。
CN202010932018.0A 2020-09-08 2020-09-08 一种基于双目视觉引导的机械臂实时跟踪方法 Active CN112132894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010932018.0A CN112132894B (zh) 2020-09-08 2020-09-08 一种基于双目视觉引导的机械臂实时跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010932018.0A CN112132894B (zh) 2020-09-08 2020-09-08 一种基于双目视觉引导的机械臂实时跟踪方法

Publications (2)

Publication Number Publication Date
CN112132894A true CN112132894A (zh) 2020-12-25
CN112132894B CN112132894B (zh) 2022-09-20

Family

ID=73847416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010932018.0A Active CN112132894B (zh) 2020-09-08 2020-09-08 一种基于双目视觉引导的机械臂实时跟踪方法

Country Status (1)

Country Link
CN (1) CN112132894B (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700505A (zh) * 2020-12-31 2021-04-23 山东大学 一种基于双目三维跟踪的手眼标定方法、设备及存储介质
CN112802122A (zh) * 2021-01-21 2021-05-14 珠海市运泰利自动化设备有限公司 机器人视觉引导组装方法
CN113012236A (zh) * 2021-03-31 2021-06-22 武汉理工大学 一种基于交叉式双目视觉引导的机器人智能打磨方法
CN113189950A (zh) * 2021-05-07 2021-07-30 南京航空航天大学 用于大型弱刚性结构件装配的双机器人协同柔顺装调方法
CN113305851A (zh) * 2021-06-17 2021-08-27 东莞理工学院 一种机器人微装配用在线检测装置
CN113360964A (zh) * 2021-08-09 2021-09-07 武汉理工大学 一种高动态范围下汇聚式双目视觉引导的机器人定位方法
CN113506344A (zh) * 2021-07-07 2021-10-15 西南科技大学 一种核辐射环境机器人高精度三维定位装置及方法
CN113499094A (zh) * 2021-07-08 2021-10-15 中山大学 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法
CN113610922A (zh) * 2021-08-06 2021-11-05 北京理工大学 一种用于自动加油机器人加油盖位姿估计的方法
CN113689398A (zh) * 2021-08-23 2021-11-23 北京恒信凯博科技有限公司 一种机器人攻丝方法及装置
CN113733088A (zh) * 2021-09-07 2021-12-03 河南大学 一种基于双目视觉的机械臂运动学自标定方法
CN113751981A (zh) * 2021-08-19 2021-12-07 哈尔滨工业大学（深圳） 基于双目视觉伺服的空间高精度装配方法和系统
CN113822946A (zh) * 2021-10-09 2021-12-21 上海第二工业大学 一种基于计算机视觉的机械臂抓取方法
CN113838147A (zh) * 2021-09-29 2021-12-24 上海海事大学 基于深度相机的叶片装配视觉引导方法及系统
CN113954072A (zh) * 2021-11-05 2022-01-21 中国矿业大学 一种视觉引导的木门工件智能识别定位系统及方法
CN114010184A (zh) * 2021-10-25 2022-02-08 上海机器人产业技术研究院有限公司 平面康复机器人运动数据采集和镜像方法
CN114022414A (zh) * 2021-10-15 2022-02-08 北方工业大学 一种基于双目感知学习的加油加电智能动作的执行方法
CN114179095A (zh) * 2022-02-15 2022-03-15 江苏智仁景行新材料研究院有限公司 一种基于三维视觉感知的机械手精密控制系统
CN114310881A (zh) * 2021-12-23 2022-04-12 中国科学院自动化研究所 一种机械臂快换装置的标定方法、系统及电子设备
CN114310877A (zh) * 2021-03-09 2022-04-12 香港科能有限公司 机器人协同系统及其应用和加工精度评价方法
CN114378822A (zh) * 2022-01-19 2022-04-22 合肥工业大学 一种基于视觉的机器人机械臂末端位姿的调整方法
CN114516055A (zh) * 2022-04-07 2022-05-20 北京信息科技大学 基于双目视觉和深度学习的机械臂不停工实时标定方法及装置
CN114536346A (zh) * 2022-04-06 2022-05-27 西南交通大学 一种基于人机协作和视觉检测的机械臂精确路径规划方法
CN114589698A (zh) * 2022-04-07 2022-06-07 北京信息科技大学 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置
CN114711968A (zh) * 2022-03-31 2022-07-08 广东工业大学 一种基于手术机器人系统的无标定靶区定位跟踪方法
CN115008452A (zh) * 2022-05-12 2022-09-06 兰州大学 一种机械臂控制方法及其系统、电子设备、存储介质
CN115661271A (zh) * 2022-12-27 2023-01-31 珞石（北京）科技有限公司 一种基于视觉的机器人核酸采样引导方法
CN115713565A (zh) * 2022-12-16 2023-02-24 盐城睿算电子科技有限公司 一种双目伺服相机目标定位方法
CN115880645A (zh) * 2023-02-13 2023-03-31 深圳市泰丰隆自动化设备有限公司 基于多画面监测分析的首饰织链机的进度预测系统
CN116038719A (zh) * 2023-04-03 2023-05-02 广东工业大学 一种机械臂末端位姿跟踪测量方法、装置及设备
WO2023083056A1 (zh) * 2021-11-12 2023-05-19 华为技术有限公司 用于标定机器人的运动学参数的方法和装置
CN116439018A (zh) * 2023-05-05 2023-07-18 仲恺农业工程学院 一种七自由度水果采摘机器人及其采摘方法
CN117649454A (zh) * 2024-01-29 2024-03-05 北京友友天宇系统技术有限公司 双目相机外参自动校正方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105527980A (zh) * 2015-12-01 2016-04-27 上海宇航系统工程研究所 双目视觉系统目标跟踪控制方法
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN108534782A (zh) * 2018-04-16 2018-09-14 电子科技大学 一种基于双目视觉系统的地标地图车辆即时定位方法
CN110421562A (zh) * 2019-07-24 2019-11-08 中国地质大学（武汉） 基于四目立体视觉的机械臂标定系统和标定方法
CN110751691A (zh) * 2019-09-24 2020-02-04 同济大学 一种基于双目视觉的管件自动抓取方法
CN111590594A (zh) * 2020-06-22 2020-08-28 南京航空航天大学 基于视觉引导的机器人轨迹跟踪控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105527980A (zh) * 2015-12-01 2016-04-27 上海宇航系统工程研究所 双目视觉系统目标跟踪控制方法
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN108534782A (zh) * 2018-04-16 2018-09-14 电子科技大学 一种基于双目视觉系统的地标地图车辆即时定位方法
CN110421562A (zh) * 2019-07-24 2019-11-08 中国地质大学（武汉） 基于四目立体视觉的机械臂标定系统和标定方法
CN110751691A (zh) * 2019-09-24 2020-02-04 同济大学 一种基于双目视觉的管件自动抓取方法
CN111590594A (zh) * 2020-06-22 2020-08-28 南京航空航天大学 基于视觉引导的机器人轨迹跟踪控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付纪元等: "家庭服务机器人闭环视觉伺服系统抓取研究", 《北京信息科技大学学报(自然科学版)》 *
钟德星等: "基于单目视觉的装配机器人研究及应用", 《西安交通大学学报》 *

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700505A (zh) * 2020-12-31 2021-04-23 山东大学 一种基于双目三维跟踪的手眼标定方法、设备及存储介质
CN112802122A (zh) * 2021-01-21 2021-05-14 珠海市运泰利自动化设备有限公司 机器人视觉引导组装方法
CN112802122B (zh) * 2021-01-21 2023-08-29 珠海市运泰利自动化设备有限公司 机器人视觉引导组装方法
CN114310877A (zh) * 2021-03-09 2022-04-12 香港科能有限公司 机器人协同系统及其应用和加工精度评价方法
CN114310877B (zh) * 2021-03-09 2024-05-07 香港科能有限公司 机器人协同系统及其应用和加工精度评价方法
CN113012236A (zh) * 2021-03-31 2021-06-22 武汉理工大学 一种基于交叉式双目视觉引导的机器人智能打磨方法
CN113012236B (zh) * 2021-03-31 2022-06-07 武汉理工大学 一种基于交叉式双目视觉引导的机器人智能打磨方法
CN113189950A (zh) * 2021-05-07 2021-07-30 南京航空航天大学 用于大型弱刚性结构件装配的双机器人协同柔顺装调方法
CN113305851A (zh) * 2021-06-17 2021-08-27 东莞理工学院 一种机器人微装配用在线检测装置
CN113506344A (zh) * 2021-07-07 2021-10-15 西南科技大学 一种核辐射环境机器人高精度三维定位装置及方法
CN113499094B (zh) * 2021-07-08 2023-07-25 中山大学 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法
CN113499094A (zh) * 2021-07-08 2021-10-15 中山大学 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法
CN113610922A (zh) * 2021-08-06 2021-11-05 北京理工大学 一种用于自动加油机器人加油盖位姿估计的方法
CN113360964A (zh) * 2021-08-09 2021-09-07 武汉理工大学 一种高动态范围下汇聚式双目视觉引导的机器人定位方法
CN113751981B (zh) * 2021-08-19 2022-08-19 哈尔滨工业大学（深圳） 基于双目视觉伺服的空间高精度装配方法和系统
CN113751981A (zh) * 2021-08-19 2021-12-07 哈尔滨工业大学（深圳） 基于双目视觉伺服的空间高精度装配方法和系统
CN113689398A (zh) * 2021-08-23 2021-11-23 北京恒信凯博科技有限公司 一种机器人攻丝方法及装置
CN113733088B (zh) * 2021-09-07 2024-05-14 河南大学 一种基于双目视觉的机械臂运动学自标定方法
CN113733088A (zh) * 2021-09-07 2021-12-03 河南大学 一种基于双目视觉的机械臂运动学自标定方法
CN113838147B (zh) * 2021-09-29 2024-01-19 上海海事大学 基于深度相机的叶片装配视觉引导方法及系统
CN113838147A (zh) * 2021-09-29 2021-12-24 上海海事大学 基于深度相机的叶片装配视觉引导方法及系统
CN113822946B (zh) * 2021-10-09 2023-10-20 上海第二工业大学 一种基于计算机视觉的机械臂抓取方法
CN113822946A (zh) * 2021-10-09 2021-12-21 上海第二工业大学 一种基于计算机视觉的机械臂抓取方法
CN114022414A (zh) * 2021-10-15 2022-02-08 北方工业大学 一种基于双目感知学习的加油加电智能动作的执行方法
CN114022414B (zh) * 2021-10-15 2024-03-15 北方工业大学 一种基于双目感知学习的加油加电智能动作的执行方法
CN114010184A (zh) * 2021-10-25 2022-02-08 上海机器人产业技术研究院有限公司 平面康复机器人运动数据采集和镜像方法
CN113954072B (zh) * 2021-11-05 2024-05-28 中国矿业大学 一种视觉引导的木门工件智能识别定位系统及方法
CN113954072A (zh) * 2021-11-05 2022-01-21 中国矿业大学 一种视觉引导的木门工件智能识别定位系统及方法
WO2023083056A1 (zh) * 2021-11-12 2023-05-19 华为技术有限公司 用于标定机器人的运动学参数的方法和装置
CN114310881A (zh) * 2021-12-23 2022-04-12 中国科学院自动化研究所 一种机械臂快换装置的标定方法、系统及电子设备
CN114378822A (zh) * 2022-01-19 2022-04-22 合肥工业大学 一种基于视觉的机器人机械臂末端位姿的调整方法
CN114378822B (zh) * 2022-01-19 2023-09-01 合肥工业大学 一种基于视觉的机器人机械臂末端位姿的调整方法
CN114179095A (zh) * 2022-02-15 2022-03-15 江苏智仁景行新材料研究院有限公司 一种基于三维视觉感知的机械手精密控制系统
CN114711968A (zh) * 2022-03-31 2022-07-08 广东工业大学 一种基于手术机器人系统的无标定靶区定位跟踪方法
CN114536346A (zh) * 2022-04-06 2022-05-27 西南交通大学 一种基于人机协作和视觉检测的机械臂精确路径规划方法
CN114536346B (zh) * 2022-04-06 2023-04-07 西南交通大学 一种基于人机协作和视觉检测的机械臂精确路径规划方法
CN114516055A (zh) * 2022-04-07 2022-05-20 北京信息科技大学 基于双目视觉和深度学习的机械臂不停工实时标定方法及装置
CN114589698B (zh) * 2022-04-07 2023-06-06 北京信息科技大学 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置
CN114516055B (zh) * 2022-04-07 2023-06-06 北京信息科技大学 基于双目视觉和深度学习的机械臂不停工实时标定方法及装置
CN114589698A (zh) * 2022-04-07 2022-06-07 北京信息科技大学 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置
CN115008452A (zh) * 2022-05-12 2022-09-06 兰州大学 一种机械臂控制方法及其系统、电子设备、存储介质
CN115008452B (zh) * 2022-05-12 2023-01-31 兰州大学 一种机械臂控制方法及其系统、电子设备、存储介质
CN115713565A (zh) * 2022-12-16 2023-02-24 盐城睿算电子科技有限公司 一种双目伺服相机目标定位方法
CN115661271A (zh) * 2022-12-27 2023-01-31 珞石（北京）科技有限公司 一种基于视觉的机器人核酸采样引导方法
CN115661271B (zh) * 2022-12-27 2023-04-14 珞石（北京）科技有限公司 一种基于视觉的机器人核酸采样引导方法
CN115880645A (zh) * 2023-02-13 2023-03-31 深圳市泰丰隆自动化设备有限公司 基于多画面监测分析的首饰织链机的进度预测系统
CN115880645B (zh) * 2023-02-13 2023-05-12 深圳市泰丰隆自动化设备有限公司 基于多画面监测分析的首饰织链机的进度预测系统
CN116038719A (zh) * 2023-04-03 2023-05-02 广东工业大学 一种机械臂末端位姿跟踪测量方法、装置及设备
US11919177B1 (en) 2023-04-03 2024-03-05 Guangdong University Of Technology Tracking measurement method, apparatus and device for pose of tail end of manipulator
CN116038719B (zh) * 2023-04-03 2023-07-18 广东工业大学 一种机械臂末端位姿跟踪测量方法、装置及设备
CN116439018B (zh) * 2023-05-05 2024-01-02 仲恺农业工程学院 一种七自由度水果采摘机器人及其采摘方法
CN116439018A (zh) * 2023-05-05 2023-07-18 仲恺农业工程学院 一种七自由度水果采摘机器人及其采摘方法
CN117649454A (zh) * 2024-01-29 2024-03-05 北京友友天宇系统技术有限公司 双目相机外参自动校正方法、装置、电子设备及存储介质
CN117649454B (zh) * 2024-01-29 2024-05-31 北京友友天宇系统技术有限公司 双目相机外参自动校正方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112132894B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN112132894B (zh) 一种基于双目视觉引导的机械臂实时跟踪方法
CN111251295B (zh) 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN105014677B (zh) 基于Camshift视觉跟踪和D-H建模算法的视觉机械臂控制方法
Ren et al. Domain randomization for active pose estimation
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN105740899A (zh) 一种机器视觉图像特征点检测与匹配复合的优化方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN113172632A (zh) 一种基于图像的简化机器人视觉伺服控制方法
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
Mohamed et al. Stereo vision based object tracking control for a movable robot head
CN117340929A (zh) 一种基于三维点云数据的柔性夹爪抓取处置装置及方法
Wang et al. A vision-based coordinated motion scheme for dual-arm robots
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
Li et al. Workpiece intelligent identification and positioning system based on binocular machine vision
CN115810188A (zh) 基于单张二维图像的树上果实三维位姿识别方法及系统
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
Ren et al. Vision based object grasping of robotic manipulator
Zhang et al. High-precision pose estimation method of the 3C parts by combining 2D and 3D vision for robotic grasping in assembly applications
Kawagoshi et al. Visual servoing using virtual space for both learning and task execution
Wanyan et al. Scene Prediction and Manipulator Grasp Pose Estimation Based on YOLO-GraspNet
CN112123329A (zh) 一种机器人3d视觉手眼标定方法
Sheng et al. Research on object recognition and manipulator grasping strategy based on binocular vision
Wang et al. Attention-based Deep Learning for Visual Servoing
Liu et al. Robotic visual servoing based on convolutional neural network
Cheng et al. Real-time robot end-effector pose estimation with deep network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant