CN111645074A - 一种机器人抓取定位方法 - Google Patents

一种机器人抓取定位方法 Download PDF

Info

Publication number
CN111645074A
CN111645074A CN202010485649.2A CN202010485649A CN111645074A CN 111645074 A CN111645074 A CN 111645074A CN 202010485649 A CN202010485649 A CN 202010485649A CN 111645074 A CN111645074 A CN 111645074A
Authority
CN
China
Prior art keywords
coordinate system
image
camera
robot
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010485649.2A
Other languages
English (en)
Inventor
李思源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010485649.2A priority Critical patent/CN111645074A/zh
Publication of CN111645074A publication Critical patent/CN111645074A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明公开了一种机器人抓取定位方法，涉及机器人定位技术领域；包括图像获取单元、图像处理及计算单元和执行单元，具体步骤如下：工装板前期处理；工业生产中，直接利用视觉系统定位工件中心难度较大，而工件与工装板相对位置固定，只需对工装板进行定位即可；相关标定；对摄像机、双目和手眼进行标定，计算工装板位姿的所有参数和图像畸变矫正参数，是整个定位方法的精度把控点；图像特征提取；找出图像中定位孔的中心位置；工件空间坐标计算；确定工件空间位置；运动目标追踪，可实现机器人对运动状态下的工件的抓取。本发明相比传统的静态抓取，抓取过程与输送过程并列进行，大大的提高了整个产线的效率。

Description

一种机器人抓取定位方法
技术领域
本发明涉及机器人定位技术领域，尤其涉及一种机器人抓取定位方法。
背景技术
机器人是可以装备用于对对象进行自动处理或加工的工具，可以进行多工位操作，而在生产流水线上工件的定位与抓取是机器人的一项重要应用，目前通常采用的方式是通过导向杆或人工操作使机器人需要去抓取的工件的位置差不多，或者通过视觉或高精度一点的机械结构来对工件进行定位，从而保证工件一定的抓取精度，或者通过设计合适的抓手来纠正前面工件的抓取精度，从而保证后期工件的加工精度。
经检索，中国专利公开号为CN110977950A的专利，公开了一种机器人抓取定位方法，包括如下步骤：(1)建立系统坐标系并校正机器人工具坐标系；(2)安装相机并完成手眼标定；(3)机器人末端安装夹具并夹取输送线上的工件；(4)确定特征区域，特征区域包括第一相机扫描区域、第二相机扫描区域和第三相机扫描区域，机器人抓取工件依次移动至第一相机扫描区域、第二相机扫描区域和第三相机扫描区域，分别创建上述扫描区域的特征区域模板，分别保存特征区域模板数据以及机器人扫描起始点位置并分别用矩阵表示；(5)重新扫图，分别计算特征区域相对机器人基坐标系的姿态以及相对机器人工具坐标系的旋转偏移矩阵；(6)特征点位置映射；(7)建立工件坐标系； (8)新工件定位。
上述专利存在以下不足：其虽然通过多次扫图，分别计算特征区域相对机器人基坐标系的姿态以及相对机器人工具坐标系的旋转偏移矩阵来确定工件的定位，但是其根本还是定位工件的静止位置，在实际应用中，在抓取时，工件必须静止，抓取和输送过程不能并列进行，使得整个生产效率较低。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种机器人抓取定位方法。
为了实现上述目的，本发明采用了如下技术方案：
一种机器人抓取定位方法，包括图像获取单元、图像处理及计算单元和执行单元，具体步骤如下：
S1：工装板前期处理；工业生产中，直接利用视觉系统定位工件中心难度较大，而工件与工装板相对位置固定，只需对工装板进行定位即可；
S2：相关标定；对摄像机、双目和手眼进行标定，计算工装板位姿的所有参数和图像畸变矫正参数，是整个定位方法的精度把控点；
S3：图像特征提取；找出图像中定位孔的中心位置；
S4：工件空间坐标计算；确定工件空间位置；
S5：运动目标追踪，可实现机器人对运动状态下的工件的抓取。
优选地：所述图像获取单元使用工业CMOS相机，其可获取目标区域的图像，所述图像处理及计算单元使用工控机，其可对工件的位置姿态和运动追踪，所述执行单元包括机器人和电动夹爪。
优选地：所述S1中，在工件未遮挡的工装板闲置位置加工出六个圆形靶标，并用黑色尼龙塞将孔塞紧。
优选地：所述S2中的摄像机标定根据小孔成像模型，对空间任一点P在世界坐标系坐标(Xω,Yω,Zω)与其图像投影点P′坐标(μ，υ)的关系表示为：
Figure 3
其中，S为比例因子，dX、dY分别表示每一个橡塑在x轴和y轴上的物理尺寸，(μ0，υ0)为图像的中心店坐标，f为焦距，R1为摄像机坐标系转换为世界坐标系的旋转矩阵，T1为摄像机坐标系转换为相机坐标系的平移向量，随后两个摄像机由机器人带动从不同方位分别拍16张棋盘格标定板图片，并计算出上式中的各个参数值，完成摄像机标定。
优选地：所述S2中的双目标定是由摄像机参数标定后确定两个相机的结构参数，有摄像机标定可求出左右相机的外部参数分别为 Rl、Tl与Rr、Tr，则Rl、Tl表示左摄像机与世界坐标系的相对位置，Rr、Tr表示左摄像机与世界坐标系的相对位置，对任一一点，其在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非其次坐标分别为 xω、xl、xr，则xl＝Rlxω+Tl、xr＝Rrxω+Tr，则
Figure BDA0002519079190000041
因此两个摄像机之间的几何关系可用以下公式计算：
Figure BDA0002519079190000042
Figure BDA0002519079190000043
优选地：所述S2中的手眼标定可以建立摄像机坐标系与机器人坐标系的关系，进而求出摄像机坐标系相对于机器人坐标系的关系，具体为，控制机器人末端带动摄像机在不同的位置，对已知尺寸的棋盘格标定板进行拍照，获取图像，通过计算摄像机不同方位的外参数和机器人工具坐标系在不同方位相对于机器人基坐标系的关系求出摄像机坐标系相对于工具坐标系的关系，根据手眼标定的基本方程式：CX＝XD，其中C、X、D均为4*4矩阵，表示某两个坐标系之间的转换关系，X是待求参数，C是由两次摄像机定标的外参数得到，D是由机器人控制器给出，然后根据摄像机标定时拍摄的16组图片和对应机器人位姿多次求解，然后根据最小二乘法确定误差最小的一组解作为最终X值。
优选地：所述S3中，图像处理首先对图像进行中值滤波,去除图像在生成和传输的过程中受到的各种噪声干扰和影响,使图像更加接近真实值,然后进行二值化处理,选择合适阈值，可以很好的将目标区域与背景区分开,将目标区域区分开后,寻找区域轮廓，因为在工件上没有与定位孔大小相似的圆干扰识别,且在图像拍摄过程中由于相机安装角度有倾斜或者定位圆孔不在图像中心,导致圆孔在图片上表现为椭圆,故将合适大小的区域轮廓进行椭圆拟合,根据偏心率将不接近圆的轮廓剔除，剩下的即为6个定位孔,6个定位孔圆心就是最终需要寻找的特征。
优选地：所述S5中，在图像处理部分提取出左、右图像各6个定位孔圆心的位置后,需对12个点进行排序匹配，使其两两对应，根据
Figure BDA0002519079190000051
X＝zXl/∫l和y＝zYl/∫l，其中 (x，y，z)为待求点在相机坐标系的空间坐标，∫l、∫r分别为左右摄像机的焦距，(Xl、Yl)为待求点在左摄像机像面点的位置，
Figure BDA0002519079190000052
为双目标定时求出的旋转矩阵，
Figure BDA0002519079190000053
为双目标定时求出的平移向量，以此可求出定位孔中心的空间位置，然后根据最小二乘法拟合出一个最优的平面作为工装板平面，以6个点的平均值作为工装板的中心，也是坐标系原点，以工装板平面作为坐标系xoy平面，z轴垂直于工装板向上建立工装板坐标系，同时求出工装板坐标系相对于相机坐标系的转换关系，工装板一旦安装完成，其位置固定且已知，即可求出待抓取工件的空间位置。
优选地：所述S5中，运动目标追踪方法为，利用四维变量定义系统状态xk，即(xsk，ysk，xvk，yvk)分别代表目标工件在x和y方向的位置和速度，其方程为
Figure BDA0002519079190000054
dt为tk-1与tk的时间间隔，以此建立运动模型：
Figure BDA0002519079190000061
在图像中只能观测到目标的位置，观测模型
Figure BDA0002519079190000062
通过摄像机拍照及S1-S4的定位确定工件的初始位置(xs0，ys0)，工件的其实速度及为输送机的输送速度 (xv0，0)，由起始两帧包含工件的图像，通过计算工装板中心在运动方向上的位置，除以拍摄这两帧图像的时间得出，则将系统的初始状态
Figure BDA0002519079190000063
和系统初始误差协方差矩阵P0＝10*eye(4)初始化卡尔曼滤波器，并记录当前图像的时刻，在下一帧图像进行模式匹配之前,通过计算两帧之间的时间间隔dt并带人状态预测方程中，得出当前运动状态
Figure BDA0002519079190000064
的估计值，并将
Figure BDA0002519079190000065
作为中心的区域作为本次模式匹配的ROI，在ROI中寻找模板的最佳匹配，得到
Figure BDA0002519079190000066
并记录当前图像的时刻，将z1＝(x1，y1)观测向量代入状态更新方程，更新滤波器状态，得到每一时刻运动目标的位置和速度的估计值，采用卡尔曼滤波器预测工件在图像中的可能位置，经过这样的预估-校正过程, 用卡尔曼滤波器估计出目标一定时间Δt之后的位置(42时刻),并据此规划机器人的运动轨迹和速度，将生成的控制指令通过机器人控制系统控制电动夹爪完成此次抓取动作。
本发明的有益效果为：
1.本发明利用工装板的靶标对工件进行空间定位，随后利用卡尔曼滤波器配合运动模型的建立计算一定时间内目标工件所处位置，配合机器人控制系统规划机器人的电动夹爪轨迹和速度对运动中目标物件进行抓取，本实施例，相比传统的静态抓取，可以对运动中的工件进行精确抓取，抓取过程与输送过程并列进行，大大的提高了整个产线的效率。
附图说明
图1为本发明提出的一种机器人抓取定位方法中的系统结构图；
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
一种机器人抓取定位方法，包括图像获取单元、图像处理及计算单元和执行单元，步骤如下：
S1：工装板前期处理；工业生产中，直接利用视觉系统定位工件中心难度较大，而工件与工装板相对位置固定，只需对工装板进行定位即可；
S2：相关标定；对摄像机、双目和手眼进行标定，计算工装板位姿的所有参数和图像畸变矫正参数，是整个定位方法的精度把控点；
S3：图像特征提取；找出图像中定位孔的中心位置；
S4：工件空间坐标计算；确定工件空间位置；
S5：运动目标追踪，可实现机器人对运动状态下的工件的抓取。
所述图像获取单元使用工业CMOS相机，其可获取目标区域的图像，所述图像处理及计算单元使用工控机，其可对工件的位置姿态和运动追踪，所述执行单元包括机器人和电动夹爪。
所述S1中，在工件未遮挡的工装板闲置位置加工出六个圆形靶标，并用黑色尼龙塞将孔塞紧。
所述S2中的摄像机标定根据小孔成像模型，对空间任一点P在世界坐标系坐标(Xω,Yω,Zω)与其图像投影点P′坐标(μ，υ)的关系表示为：
Figure 4
其中，S为比例因子，dX、dY分别表示每一个橡塑在x轴和y轴上的物理尺寸，(μ0，υ0)为图像的中心店坐标，f为焦距，R1为摄像机坐标系转换为世界坐标系的旋转矩阵，T1为摄像机坐标系转换为相机坐标系的平移向量，随后两个摄像机由机器人带动从不同方位分别拍16 张棋盘格标定板图片，并计算出上式中的各个参数值，完成摄像机标定。
所述S2中的双目标定是由摄像机参数标定后确定两个相机的结构参数，有摄像机标定可求出左右相机的外部参数分别为Rl、Tl与Rr、 Tr，则Rl、Tl表示左摄像机与世界坐标系的相对位置，Rr、Tr表示左摄像机与世界坐标系的相对位置，对任一一点，其在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非其次坐标分别为xω、xl、xr，则xl＝Rlxω+Tl、xr＝Rrxω+Tr，则
Figure BDA0002519079190000091
因此两个摄像机之间的几何关系可用以下公式计算：
Figure BDA0002519079190000092
所述S2中的手眼标定可以建立摄像机坐标系与机器人坐标系的关系，进而求出摄像机坐标系相对于机器人坐标系的关系，具体为，控制机器人末端带动摄像机在不同的位置，对已知尺寸的棋盘格标定板进行拍照，获取图像，通过计算摄像机不同方位的外参数和机器人工具坐标系在不同方位相对于机器人基坐标系的关系求出摄像机坐标系相对于工具坐标系的关系，根据手眼标定的基本方程式：CX＝XD，其中C、X、D均为4*4矩阵，表示某两个坐标系之间的转换关系，X 是待求参数，C是由两次摄像机定标的外参数得到，D是由机器人控制器给出，然后根据摄像机标定时拍摄的16组图片和对应机器人位姿多次求解，然后根据最小二乘法确定误差最小的一组解作为最终X 值。
所述S3中，图像处理首先对图像进行中值滤波,去除图像在生成和传输的过程中受到的各种噪声干扰和影响,使图像更加接近真实值, 然后进行二值化处理,选择合适阈值，可以很好的将目标区域与背景区分开,将目标区域区分开后,寻找区域轮廓，因为在工件上没有与定位孔大小相似的圆干扰识别,且在图像拍摄过程中由于相机安装角度有倾斜或者定位圆孔不在图像中心,导致圆孔在图片上表现为椭圆, 故将合适大小的区域轮廓进行椭圆拟合,根据偏心率将不接近圆的轮廓剔除，剩下的即为6个定位孔,6个定位孔圆心就是最终需要寻找的特征。
所述S5中，在图像处理部分提取出左、右图像各6个定位孔圆心的位置后,需对12个点进行排序匹配，使其两两对应，根据
Figure BDA0002519079190000101
X＝zXl/∫l和y＝zYl/∫l，其中(x， y，z)为待求点在相机坐标系的空间坐标，∫l、∫r分别为左右摄像机的焦距，(Xl、Yl)为待求点在左摄像机像面点的位置，
Figure BDA0002519079190000102
为双目标定时求出的旋转矩阵，
Figure BDA0002519079190000103
为双目标定时求出的平移向量，以此可求出定位孔中心的空间位置，然后根据最小二乘法拟合出一个最优的平面作为工装板平面，以6个点的平均值作为工装板的中心，也是坐标系原点，以工装板平面作为坐标系xoy平面，z轴垂直于工装板向上建立工装板坐标系，同事求出工装板坐标系相对于相机坐标系的转换关系，工装板一旦安装完成，其位置固定且已知，即可求出待抓取工件的空间位置。
所述S5中，运动目标追踪方法为，利用四维变量定义系统状态 xk，即(xsk，ysk，xvk，yvk)分别代表目标工件在x和y方向的位置和速度，其方程为
Figure BDA0002519079190000111
dt为tk-1与tk的时间间隔，以此建立运动模型：
Figure BDA0002519079190000112
在图像中只能观测到目标的位置，观测模型
Figure BDA0002519079190000113
通过摄像机拍照及S1-S4的定位确定工件的初始位置(xs0，ys0)，工件的其实速度及为输送机的输送速度 (xv0，0)，由起始两帧包含工件的图像，通过计算工装板中心在运动方向上的位置，除以拍摄这两帧图像的时间得出，则将系统的初始状态
Figure BDA0002519079190000114
和系统初始误差协方差矩阵P0＝10*eye(4)初始化卡尔曼滤波器，并记录当前图像的时刻，在下一帧图像进行模式匹配之前,通过计算两帧之间的时间间隔dt并带人状态预测方程中，得出当前运动状态
Figure BDA0002519079190000115
的估计值，并将
Figure BDA0002519079190000116
作为中心的区域作为本次模式匹配的ROI，在ROI中寻找模板的最佳匹配，得到
Figure BDA0002519079190000117
并记录当前图像的时刻，将z1＝(x1，y1)观测向量代入状态更新方程，更新滤波器状态，得到每一时刻运动目标的位置和速度的估计值，采用卡尔曼滤波器预测工件在图像中的可能位置,从而避免了对整幅图像搜索匹配,大大加快了模板匹配的速度,提高了系统的实时性，经过这样的预估-校正过程,用卡尔曼滤波器估计出目标一定时间Δt之后的位置 (42时刻),并据此规划机器人的运动轨迹和速度，将生成的控制指令通过机器人控制系统控制电动夹爪完成此次抓取动作。
本实施例中，先对工装板进行靶标加工处理，利用工件相对工装静止的原理通过工装板的靶标进行定位，以致于对工件进行定位，随后进行摄像机、双目和手眼标定，计算工装板位姿的所有参数和图像畸变校正参数，随后对图像进行处理，寻找原先工装板上的靶标特征，然后利用两个摄像机拍摄到的靶标进行排序匹配，计算待抓取工件的空间位置，最后利用卡尔曼滤波器配合运动模型的建立计算一定时间内目标工件所处位置，配合机器人控制系统规划机器人的电动夹爪轨迹和速度对运动中目标物件进行抓取，本实施例，相比传统的静态抓取，可以对运动中的工件进行精确抓取，抓取过程与输送过程并列进行，大大的提高了整个产线的效率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种机器人抓取定位方法，包括图像获取单元、图像处理及计算单元和执行单元，其特征在于，具体步骤如下：
S1：工装板前期处理；工业生产中，直接利用视觉系统定位工件中心难度较大，而工件与工装板相对位置固定，只需对工装板进行定位即可；
S2：相关标定；对摄像机、双目和手眼进行标定，计算工装板位姿的所有参数和图像畸变矫正参数，是整个定位方法的精度把控点；
S3：图像特征提取；找出图像中定位孔的中心位置；
S4：工件空间坐标计算；确定工件空间位置；
S5：运动目标追踪，可实现机器人对运动状态下的工件的抓取。
2.根据权利要求1所述的一种机器人抓取定位方法，其特征在于，所述图像获取单元使用工业CMOS相机，其可获取目标区域的图像，所述图像处理及计算单元使用工控机，其可对工件的位置姿态和运动追踪，所述执行单元包括机器人和电动夹爪。
3.根据权利要求1所述的一种机器人抓取定位方法，其特征在于，所述S1中，在工件未遮挡的工装板闲置位置加工出六个圆形靶标，并用黑色尼龙塞将孔塞紧。
4.根据权利要求1所述的一种机器人抓取定位方法，其特征在于，所述S2中的摄像机标定根据小孔成像模型，对空间任一点P在世界坐标系坐标(Xω,Yω,Zω)与其图像投影点P′坐标(μ，υ)的关系表示为：
Figure 1
其中，S为比例因子，dX、dY分别表示每一个橡塑在x轴和y轴上的物理尺寸，(μ0，υ0)为图像的中心店坐标，f为焦距，R1为摄像机坐标系转换为世界坐标系的旋转矩阵，T1为摄像机坐标系转换为相机坐标系的平移向量，随后两个摄像机由机器人带动从不同方位分别拍16张棋盘格标定板图片，并计算出上式中的各个参数值，完成摄像机标定。
5.根据权利要求1所述的一种机器人抓取定位方法，其特征在于，所述S2中的双目标定是由摄像机参数标定后确定两个相机的结构参数，有摄像机标定可求出左右相机的外部参数分别为Rl、Tl与Rr、Tr，则Rl、Tl表示左摄像机与世界坐标系的相对位置，Rr、Tr表示左摄像机与世界坐标系的相对位置，对任一一点，其在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非其次坐标分别为xω、xl、xr，则xl＝Rlxω+Tl、xr＝Rrxω+Tr，则
Figure FDA0002519079180000022
因此两个摄像机之间的几何关系可用以下公式计算：
Figure FDA0002519079180000023
6.根据权利要求1所述的一种机器人抓取定位方法，其特征在于，所述S2中的手眼标定可以建立摄像机坐标系与机器人坐标系的关系，进而求出摄像机坐标系相对于机器人坐标系的关系，具体为，控制机器人末端带动摄像机在不同的位置，对已知尺寸的棋盘格标定板进行拍照，获取图像，通过计算摄像机不同方位的外参数和机器人工具坐标系在不同方位相对于机器人基坐标系的关系求出摄像机坐标系相对于工具坐标系的关系，根据手眼标定的基本方程式：CX＝XD，其中C、X、D均为4*4矩阵，表示某两个坐标系之间的转换关系，X是待求参数，C是由两次摄像机定标的外参数得到，D是由机器人控制器给出，然后根据摄像机标定时拍摄的16组图片和对应机器人位姿多次求解，然后根据最小二乘法确定误差最小的一组解作为最终X值。
7.根据权利要求1所述的一种机器人抓取定位方法，其特征在于，所述S3中，图像处理首先对图像进行中值滤波,去除图像在生成和传输的过程中受到的各种噪声干扰和影响,使图像更加接近真实值,然后进行二值化处理,选择合适阈值，可以很好的将目标区域与背景区分开,将目标区域区分开后,寻找区域轮廓，因为在工件上没有与定位孔大小相似的圆干扰识别,且在图像拍摄过程中由于相机安装角度有倾斜或者定位圆孔不在图像中心,导致圆孔在图片上表现为椭圆,故将合适大小的区域轮廓进行椭圆拟合,根据偏心率将不接近圆的轮廓剔除，剩下的即为6个定位孔,6个定位孔圆心就是最终需要寻找的特征。
8.根据权利要求1所述的一种机器人抓取定位方法，其特征在于，所述S5中，在图像处理部分提取出左、右图像各6个定位孔圆心的位置后,需对12个点进行排序匹配，使其两两对应，根据
Figure FDA0002519079180000041
X＝zXl/∫l和y＝zYl/∫l，其中(x，y，z)为待求点在相机坐标系的空间坐标，∫l、∫r分别为左右摄像机的焦距，(Xl、Yl)为待求点在左摄像机像面点的位置，
Figure FDA0002519079180000042
为双目标定时求出的旋转矩阵，
Figure FDA0002519079180000043
为双目标定时求出的平移向量，以此可求出定位孔中心的空间位置，然后根据最小二乘法拟合出一个最优的平面作为工装板平面，以6个点的平均值作为工装板的中心，也是坐标系原点，以工装板平面作为坐标系xoy平面，z轴垂直于工装板向上建立工装板坐标系，同时求出工装板坐标系相对于相机坐标系的转换关系，工装板一旦安装完成，其位置固定且已知，即可求出待抓取工件的空间位置。
9.根据权利要求1所述的一种机器人抓取定位方法，其特征在于，所述S5中，运动目标追踪方法为，利用四维变量定义系统状态xk，即(xsk，ysk，xvk，yvk)分别代表目标工件在x和y方向的位置和速度，其方程为
Figure FDA0002519079180000044
dt为tk-1与tk的时间间隔，以此建立运动模型：
Figure FDA0002519079180000045
在图像中只能观测到目标的位置，观测模型
Figure FDA0002519079180000051
通过摄像机拍照及S1-S4的定位确定工件的初始位置(xs0，ys0)，工件的其实速度及为输送机的输送速度(xv0，0)，由起始两帧包含工件的图像，通过计算工装板中心在运动方向上的位置，除以拍摄这两帧图像的时间得出，则将系统的初始状态
Figure FDA0002519079180000052
和系统初始误差协方差矩阵P0＝10*eye(4)初始化卡尔曼滤波器，并记录当前图像的时刻，在下一帧图像进行模式匹配之前,通过计算两帧之间的时间间隔dt并带人状态预测方程中，得出当前运动状态
Figure FDA0002519079180000053
的估计值，并将
Figure FDA0002519079180000054
作为中心的区域作为本次模式匹配的ROI，在ROI中寻找模板的最佳匹配，得到
Figure FDA0002519079180000055
并记录当前图像的时刻，将z1＝(x1，y1)观测向量代入状态更新方程，更新滤波器状态，得到每一时刻运动目标的位置和速度的估计值，采用卡尔曼滤波器预测工件在图像中的可能位置，经过这样的预估-校正过程,用卡尔曼滤波器估计出目标一定时间Δt之后的位置(42时刻),并据此规划机器人的运动轨迹和速度，将生成的控制指令通过机器人控制系统控制电动夹爪完成此次抓取动作。
CN202010485649.2A 2020-06-01 2020-06-01 一种机器人抓取定位方法 Withdrawn CN111645074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010485649.2A CN111645074A (zh) 2020-06-01 2020-06-01 一种机器人抓取定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010485649.2A CN111645074A (zh) 2020-06-01 2020-06-01 一种机器人抓取定位方法

Publications (1)

Publication Number Publication Date
CN111645074A true CN111645074A (zh) 2020-09-11

Family

ID=72350980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010485649.2A Withdrawn CN111645074A (zh) 2020-06-01 2020-06-01 一种机器人抓取定位方法

Country Status (1)

Country Link
CN (1) CN111645074A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112161567A (zh) * 2020-09-28 2021-01-01 北京天地玛珂电液控制系统有限公司 一种综采工作面的定位方法及系统
CN112561886A (zh) * 2020-12-18 2021-03-26 广东工业大学 一种基于机器视觉的工件自动分拣方法及系统
CN112809672A (zh) * 2020-12-31 2021-05-18 安徽飞凯电子技术有限公司 一种机械手臂用目标定位系统
CN113063804A (zh) * 2021-03-16 2021-07-02 太原科技大学 一种基于图像处理的热切机视觉系统自动定位方法
CN113822945A (zh) * 2021-09-28 2021-12-21 天津朗硕机器人科技有限公司 一种基于双目视觉的工件识别和定位方法
CN114102593A (zh) * 2021-11-24 2022-03-01 航天晨光股份有限公司 基于二维低清晰度图像的机器手抓取规则物料方法
CN114139857A (zh) * 2021-10-26 2022-03-04 成都飞机工业（集团）有限责任公司 一种工件精整加工工序修正方法、系统、存储介质及装置
CN114147664A (zh) * 2021-12-09 2022-03-08 苏州华星光电技术有限公司 一种治具更换方法以及电子设备的制备方法
CN114322775A (zh) * 2022-01-06 2022-04-12 深圳威洛博机器人有限公司 一种机器人视觉定位系统及视觉定位方法
CN114565665A (zh) * 2022-02-28 2022-05-31 华中科技大学 一种选择性辅助加工视觉系统的时空标定方法
CN114932516A (zh) * 2022-04-28 2022-08-23 珠海格力电器股份有限公司 一种空调外机电机轴的定位和装配系统及其控制方法
CN116071361A (zh) * 2023-03-20 2023-05-05 深圳思谋信息科技有限公司 针对工件的视觉定位方法、装置、计算机设备和存储介质
CN114565665B (zh) * 2022-02-28 2024-05-14 华中科技大学 一种选择性辅助加工视觉系统的时空标定方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112161567A (zh) * 2020-09-28 2021-01-01 北京天地玛珂电液控制系统有限公司 一种综采工作面的定位方法及系统
CN112161567B (zh) * 2020-09-28 2022-05-03 北京天玛智控科技股份有限公司 一种综采工作面的定位方法及系统
CN112561886A (zh) * 2020-12-18 2021-03-26 广东工业大学 一种基于机器视觉的工件自动分拣方法及系统
CN112809672A (zh) * 2020-12-31 2021-05-18 安徽飞凯电子技术有限公司 一种机械手臂用目标定位系统
CN113063804B (zh) * 2021-03-16 2022-07-15 太原科技大学 一种基于图像处理的热切机视觉系统自动定位方法
CN113063804A (zh) * 2021-03-16 2021-07-02 太原科技大学 一种基于图像处理的热切机视觉系统自动定位方法
CN113822945A (zh) * 2021-09-28 2021-12-21 天津朗硕机器人科技有限公司 一种基于双目视觉的工件识别和定位方法
CN114139857A (zh) * 2021-10-26 2022-03-04 成都飞机工业（集团）有限责任公司 一种工件精整加工工序修正方法、系统、存储介质及装置
CN114139857B (zh) * 2021-10-26 2024-05-14 成都飞机工业（集团）有限责任公司 一种工件精整加工工序修正方法、系统、存储介质及装置
CN114102593A (zh) * 2021-11-24 2022-03-01 航天晨光股份有限公司 基于二维低清晰度图像的机器手抓取规则物料方法
CN114147664A (zh) * 2021-12-09 2022-03-08 苏州华星光电技术有限公司 一种治具更换方法以及电子设备的制备方法
CN114322775A (zh) * 2022-01-06 2022-04-12 深圳威洛博机器人有限公司 一种机器人视觉定位系统及视觉定位方法
CN114322775B (zh) * 2022-01-06 2022-11-11 深圳威洛博机器人有限公司 一种机器人视觉定位系统及视觉定位方法
CN114565665B (zh) * 2022-02-28 2024-05-14 华中科技大学 一种选择性辅助加工视觉系统的时空标定方法
CN114565665A (zh) * 2022-02-28 2022-05-31 华中科技大学 一种选择性辅助加工视觉系统的时空标定方法
CN114932516A (zh) * 2022-04-28 2022-08-23 珠海格力电器股份有限公司 一种空调外机电机轴的定位和装配系统及其控制方法
CN116071361A (zh) * 2023-03-20 2023-05-05 深圳思谋信息科技有限公司 针对工件的视觉定位方法、装置、计算机设备和存储介质
CN116071361B (zh) * 2023-03-20 2023-07-04 深圳思谋信息科技有限公司 针对工件的视觉定位方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN111645074A (zh) 一种机器人抓取定位方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN107618030B (zh) 基于视觉的机器人动态跟踪抓取方法及系统
CN108109174B (zh) 一种用于散乱零件随机分拣的机器人单目引导方法和系统
CN107590835B (zh) 一种核环境下机械臂工具快换视觉定位系统与定位方法
CN109202912B (zh) 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN108161931A (zh) 基于视觉的工件自动识别及智能抓取系统
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN113146172B (zh) 一种基于多视觉的检测与装配系统及方法
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN110751691B (zh) 一种基于双目视觉的管件自动抓取方法
CN113276106B (zh) 一种攀爬机器人空间定位方法及空间定位系统
CN111784655B (zh) 一种水下机器人回收定位方法
CN111347411A (zh) 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN112775959A (zh) 机械手的抓取位姿确定方法及系统、存储介质
CN114519738A (zh) 一种基于icp算法的手眼标定误差修正方法
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN114055501A (zh) 一种机器人抓取系统及其控制方法
CN113664826A (zh) 一种未知环境中的机器人抓取方法及系统
CN116749198A (zh) 一种基于双目立体视觉引导机械臂抓取方法
CN108393676B (zh) 自动化彩妆装配的模型设定方法
CN112584041B (zh) 一种图像识别动态纠偏方法
CN111598945B (zh) 一种汽车发动机曲轴瓦盖的三维定位方法
CN114926531A (zh) 基于双目视觉的大视场下工件焊缝自主定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200911

WW01 Invention patent application withdrawn after publication