CN113593050A - 一种双目视觉引导的机器人智能装配方法、系统及装置 - Google Patents

一种双目视觉引导的机器人智能装配方法、系统及装置 Download PDF

Info

Publication number
CN113593050A
CN113593050A CN202110883403.5A CN202110883403A CN113593050A CN 113593050 A CN113593050 A CN 113593050A CN 202110883403 A CN202110883403 A CN 202110883403A CN 113593050 A CN113593050 A CN 113593050A
Authority
CN
China
Prior art keywords
robot
camera
calibration
binocular vision
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110883403.5A
Other languages
English (en)
Inventor
齐将
李云柱
赵春燃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nugget Mechatronics Technology Co ltd
Original Assignee
Nanjing Nugget Mechatronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nugget Mechatronics Technology Co ltd filed Critical Nanjing Nugget Mechatronics Technology Co ltd
Priority to CN202110883403.5A priority Critical patent/CN113593050A/zh
Publication of CN113593050A publication Critical patent/CN113593050A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双目视觉引导的机器人智能装配方法、系统及装置，包括以下步骤：S1、双目视觉单元固定在工作台上，获取工作区域的图像；S2、图像处理及计算单元负责图像的采集及处理，然后进行标定，先进行单相机标定再进行双目标定，最后与机器人进行手眼标定，标定完成之后再进行位姿求解；S3、通过以太网的方案将结果发送给机器人；S4、机器人根据收到的数据调整装配的位姿。本发明采用双目视觉系统引导机器人进行柔性装配，通过多次实验证明定位误差小于0.4mm，满足工业现场中多种机器人柔性装配应用。

Description

一种双目视觉引导的机器人智能装配方法、系统及装置
技术领域
本发明涉及一种双目视觉引导的机器人智能装配方法、系统及装置，属于智能机械设备领域。
背景技术
在工业现场当中，目前在使用的机器人进行装配时，都是先将待装配的工件与被装配的工件进行固定，通过机器人示教的方式，让机器人进行点到点的运动，也有采用2D相机进行识别定位，但对于一些在空间中有一定姿态变化要求的并不能满足要求。
发明内容
鉴于现有技术中存在上述问题，本发明的目的是提供一种双目视觉引导的机器人智能装配方法、系统及装置。
本发明提供了如下的技术方案：
一种双目视觉引导的机器人智能装配方法，包括以下步骤：S1、双目视觉单元固定在工作台上，获取工作区域的图像；S2、图像处理及计算单元负责图像的采集及处理，然后进行标定，先进行单相机标定再进行双目标定，最后与机器人进行手眼标定，标定完成之后再进行位姿求解；S3、通过以太网的方案将结果发送给机器人；S4、机器人根据收到的数据调整装配的位姿。
具体的，步骤S1中，采用ZEDmini双目视觉相机，通过ZED API控制相机和配置参数。
具体的，步骤S2中，第一步，单相机标定根据相机模型建立相机图像像素位置与实际点位置关系，已知实际点的图像坐标和世界坐标求解摄像机的模型参数；
第二步，在进行双目标定时，需要使用两个相机对同一标定板进行多次取图，分别标定出各自的内参和相对于标定板的外参，然后便可计算出两相机位置间的关系；
第三步，机器人视觉系统中要实现像素坐标与实际坐标的转换，需要再进行手眼标定；
第四步，进行位姿求解，位姿包括坐标系的旋转信息和位移信息；位移信息由双目相机测量和相似三角形的原理计算得出，旋转信息采用PnP算法计算得出即求解3D到2D点对运动的方法。
具体的，步骤S2的第一步中，所述单相机标定根据针孔成像模型，空间任一点p在世界坐标系坐标(Xw，Yw，Zw)与其图像投影点p'坐标(u，v)的关系式为
Figure BDA0003192400710000021
s为比例因子，dX为X轴上的物理尺寸，dY为Y轴上的物理尺寸，(u0，v0)为图像的中心点坐标，f为焦距，R1为相机坐标系转换为世界坐标系的旋转矩阵，T1为相机坐标系转换为相机坐标系的平移向量；
采用张正友相机标定法分别拍20张棋盘格标定板，代入p与p'的关系式，建立摄像机图像像素位置与物体空间位置之间的关系，即坐标系与图像坐标系之间的关系。
具体的，步骤S2的第二步中，两相机位置间的关系为
R＝Rr(RI)T
T＝Tr-RTI
其中，R为两摄像头间的旋转矩阵，T为两摄像头间的平移矩阵。Rr为右摄像头经过张氏标定得到的相对标定物的旋转矩阵，Tr为右摄像头通过张氏标定得到的相对标定物的平移向量。R1为左摄像头经过张氏标定得到的相对相同标定物的旋转矩阵，T1为左摄像头经过张氏标定得到的相对相同标定物的平移向量。
具体的，步骤S2的第三步中，手眼标定得到机器手坐标系H转化为摄像机坐标系C的转化矩阵T3表示为：C＝T3*H。
具体的，步骤S2的第四步中，位移信息利用双目相机进行测距以及双目相机的俯视图，如图3所示，得出双摄像头测距的原理接近三角形关系：
Figure BDA0003192400710000031
整理后求出
Figure BDA0003192400710000032
d＝uL-uR，d为横坐标之差，称为视差。
具体的，步骤S2的第四步中，旋转信息利用双摄像头获取空间中某点三维坐标，坐标计算利用相似三角形的原理，空间中某点的三维坐标就是(X/W,Y/W,Z/W)，利用变换矩阵Q求出Z值：
Figure BDA0003192400710000033
其中，f为焦距，d为视差，Tx为摄像头中心距。
基于上述方法，本发明还提出了所述双目视觉引导的机器人智能装配系统，所述系统包括，
双目视觉单元，固定在工作台上，用于获取工作区域的图像；
图像处理及计算单元，用于图像的采集及处理，然后进行标定，标定完成之后再进行位姿求解；
信息传输单元，用于通过以太网的方案将结果发送给机器人；
机器人，用于根据信息传输单元发出的数据来调整装配的位姿。
基于上述方法及系统，本发明还提出了所述双目视觉引导的机器人智能装配装置，所述装置包括，
台架组件，采用工业级铝型材及钣金件搭建而成，所述台架组件(100)分上下两层，上层用于安放机器人和操作对象，下层用于安放电气控制柜和电器安装板，还可以放置其他物品；
机器人本体工作站，采用机器人安装底座、机器人、工装夹爪等组装而成，用于配合视觉进行长水口安装、拆卸的替换功能；
长水口库位，采用长水口台架和长水口组件组装而成，用于长水口组件的放置和定位；
大包旋转组件，采用旋转支架和大包组件组装而成，用于模拟工业中连铸大包过程中的双工位回转平台，为双目视觉的识别、长水口的拆卸提供实验对象；
相机组件，采用工业级铝型材、安装底板、钣金折弯件等搭建而成，用于放置、固定双目相机；
定位组件，采用钣金、铝件等搭建而成，铝件底部安装磁钢，用于吸附在底部的钣金上，不用时也可以随时拿走。铝件顶部做成锥尖，与机器人末端的定位工装配合，实现机器人的原点定位；
控制盒，采用工业级铝型材、环氧树脂板、尼龙件、各种操作按钮等组成，用于控制产品，与所述双目相机和机器人本体工作站的电性连接；
气源组件，支撑机构采用工业级铝型材和直角件，配有气源处理元件、滑阀、接头。
本发明的有益效果是：
在工业现场当中，目前在使用的机器人进行装配时，都是先将待装配的工件与被装配的工件进行固定，通过机器人示教的方式，让机器人进行点到点的运动，也有采用2D相机进行识别定位，但对于一些在空间中有一定姿态变化要求的并不能满足要求；为了提高机器人的柔性性能，本发明采用双目视觉系统引导机器人进行柔性装配，通过在被装配物体边缘上，放置两块目标板，获取目标板的位姿，即坐标系的旋转信息和位移信息，其中，旋转信息采用PnP算法计算得出即求解3D到2D点对运动的方法，位移信息由双目相机测量得出，将位姿数据通过以太网的方式发送给机器人进行装配，通过多次实验证明定位误差小于0.4mm，满足工业现场中多种机器人柔性装配应用。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明实施例提供的一种双目视觉引导的机器人智能装配系统的系统流程示意图；
图2是本发明中求解摄像机坐标系的变换矩阵X；
图3是本发明中双目相机进行测距时双目相机中几何模型的俯视图；
图4是本发明中双摄像头获取空间中某点三维左边的原理图；
图5是本发明中三个点的几何关系图；
图6是本发明实施例提供的一种双目视觉引导的机器人智能装配装置的俯视图；
图7是本发明实施例提供的一种双目视觉引导的机器人智能装配装置的轴测图。
图中标记为：100、台架组件；101、机器人本体工作站；102、长水口库位；103、大包旋转组件；104、双目相机组件；105、定位组件；106、控制盒；107、气源组件。
具体实施方式
如图1所示，一种双目视觉引导的机器人智能装配方法，包括以下步骤：S1、双目视觉单元固定在工作台上，获取工作区域的图像；S2、图像处理及计算单元负责图像的采集及处理，然后进行标定，先进行单相机标定再进行双目标定，最后与机器人进行手眼标定，标定完成之后再进行位姿求解；S3、通过以太网的方案将结果发送给机器人；S4、机器人根据收到的数据调整装配的位姿。
基于上述方法，本发明还提供一种双目视觉引导的机器人智能装配系统，包括：
双目视觉单元，固定在工作台上，用于获取工作区域的图像；
图像处理及计算单元，用于图像的采集及处理，然后进行标定，标定完成之后再进行位姿求解；
信息传输单元，用于通过以太网的方案将结果发送给机器人；
机器人，用于根据信息传输单元发出的数据来调整装配的位姿。
本发明的工作原理为：
本发明提供一种利用双目视觉技术获取空间物体的位置姿态，通过手眼标定的方式将标定后的数据通过以太网的方式发送给机器人，机器人根据获取的坐标信息进行移动。
用以解决工业机器进行装配时，装配物体在空间中的位置及姿态发生变化时，通过双目视觉进行系统补偿，以满足现场实际需求。该系统架构主要包括：双目视觉组件、图像处理控制器、台架组件、机器人本体工作站、长水口库位、大包旋转组件、定位组件、控制盒、气源组件。能过以上组件可以测试双目视觉系统引导机器人进行装配连铸大包换水的长水口安装。
整个控制系统主要由双目视觉单元、图像处理及计算单元、信息传输单元和机器人执行单元三部分组成；双目视觉单元主要固定在工作台上，获取工作区域的图像，图像处理及计算单元负责对图像进行处理计算位姿和手眼标定，并通过以太网的方案将结果发送给机器人，机器人根据收到数据调整装配的位姿。
双目视觉单元采用ZED mini双目视觉相机，通过ZED API控制相机和配置参数,配置相机参数需要先创建Camera、InitParameters对象，调整相机的分辨率、传输帖率等参数；获取焦距、镜头畸变、视野等参数。
图像处理及计算单元主要负责图像的采集及处理，然后进行标定，先进行单相机标定再进行双目标定，最后进行与机器人进行手眼标定，标定完成之后再进行位姿求解。
单相机标定根据相机模型建立相机图像像素位置与实际点位置关系，已知实际点的图像坐标和世界坐标求解摄像机的模型参数。根据针孔成像模型，空间任一点p在世界坐标系坐标(Xw，Yw，Zw)与其图像投影点p'坐标(u，v)的关系表示式为
Figure BDA0003192400710000071
s为比例因子，dX为X轴上的物理尺寸，dY为Y轴上的物理尺寸，(u0，v0)为图像的中心点坐标，f为焦距，R1为相机坐标系转换为世界坐标系的旋转矩阵，T1为相机坐标系转换为相机坐标系的平移向量。采用张正友相机标定法分别拍20张棋盘格标定板，建立摄像机图像像素位置与物体空间位置之间的关系，即世界坐标系与图像坐标系之间的关系。
在进行双目标定时，需要使两个相机对同一标定板进行多次取图，分别标定出各自的内参和相对于标定板的外参，然后便可计算出两相机位置间的关系：
R＝Rr(RI)T
T＝Tr-RTI
其中，R为两摄像头间的旋转矩阵，T为两摄像头间的平移矩阵。Rr为右摄像头经过张氏标定得到的相对标定物的旋转矩阵，Tr为右摄像头通过张氏标定得到的相对标定物的平移向量。R1为左摄像头经过张氏标定得到的相对相同标定物的旋转矩阵，T1为左摄像头经过张氏标定得到的相对相同标定物的平移向量。
器人视觉系统中要实现像素坐标与实际坐标的转换，需要再进行手眼标定。手眼标定目的：得到机器手坐标系H转化为摄像机坐标系C的转化矩阵T3可表示为：C＝T3*H，T3需要根据公式AX＝XB得到，A是两个摄像机坐标系之间的变换矩阵，B是两个机器手坐标系之间的变换矩阵，获取摄像机标定已知摄像机外参矩阵HC1、HC2、HC3，从机器人控制器中读取对应的机械手坐标末端姿态描述数据，库卡机器人在空间点位表示方法通常为X、Y、Z、A、B、C，其中A、B、C表示该点的旋转姿态(A/B/C分别对应Z/Y/X轴的旋转),也称为欧拉角，欧拉角转四元数转换关系如图2所示。
通过相机采集20张图片，记录机器人未端姿态，进行相机标定，可得到20个外参矩阵，同时对应可以从控制器界面读取或者转换得到20个姿态矩阵，接着可以利用
Figure BDA0003192400710000081
组A和B，再利用AX＝XB计算得到X。
进行位姿求解，位姿包含坐标系的旋转信息和位移信息；位移信息由双目相机测量得出，其中，旋转信息采用PnP算法(求解3D到2D点对运动的方法)计算得出。
利用双目相机进行测距，根据双目相机的俯视图,请重点参考图3，可以看出双摄像头测距的原理，接近三角形关系：
Figure BDA0003192400710000082
整理后求出
Figure BDA0003192400710000083
d＝uL-uR，d为横坐标之差，称为视差。
双摄像头获取空间中某点三维坐标的原理如图4所示，坐标计算利用相似三角形的原理，空间中某点的三维坐标就是(X/W,Y/W,Z/W)，为了精确地求得某个点在三维空间里的距离，我们需要获得的参数有焦距f、视差d、摄像头中心距Tx。利用变换矩阵Q求出Z值：
Figure BDA0003192400710000084
Figure BDA0003192400710000085
当PNP中N＝1时，一对3D-2D点，当PNP中N＝2时，两对3D-2D点，当PNP中N＝3时，三对3D-2D点，当PNP中N>3时，三对以上3D-2D点，N>3后，能够求出正解了。但当直接使用4个点时，由于精度误差，并不能直接接触精确解，而是先用3个点计算出4组解获得四个旋转矩阵、平移矩阵。根据公式：
Figure BDA0003192400710000086
将第四个点的世界坐标代入公式，获得其在图像中的四个投影(一个解对应一个投影)，取出其中投影误差最小的那个解，就是我们所需要的正解。以P3P算法的数学推导为例：
请重点参考图5，P3P需要利用给定的三个点的几何关系。它的输入数据为三对3D-2D匹配点。记3D点为A，B，C，2D点为a，b，c，其中小写字母代表的点为大写字母在相机成像平面上的投影。
我们知道的是A，B，C在世界坐标系中的坐标，而不是在相机坐标系中的坐标。
首先，显然，三角形之间存在对应关系；
ΔOab-ΔOAB，ΔObc-ΔOBC，ΔOac-ΔOAC.
对于三角形Oab和OAB，利用余弦定理可得：
OA2+OB2-2OA·OB·cos<a，b>＝AB2.
对于另外两组三角形，也有同样的结论：
OA2+OB2-2OA·OB·cos<a，b>＝AB2
OB2+OC2-2OB·OC·cos<b，c>＝BC2
OA2+OC2-2OA·OC·cos<a，c>＝AC2.
对上面三式全体除以OC^2，并且记x＝OA/OC，y＝OB/OC，得：
x2+y2-2xy cos<a，b>＝AB2/OC2
y2+12-2ycos<b，c>＝BC2/OC2
x2+12-2x cos<a，c>＝AC2/OC2.
记v＝AB^2/OC^2，uv＝BC^2/OC^2，wv＝AC^2/OC^2，有：
x2+y2-2xy cos<a，b>-v＝0
y2+12-2y cos<b，c>-uv＝0
x2+12-2x cos<a，c>-wv＝0.
我们可以把上述第一个式子中的v放到等式一边，然后合并上述三个公式，得：
(1-u)y2-ux2-cos<b，c>y+2uxy cos<a，b>+1＝0
(1-w)x2-wy2-cos<a，c>x+2wxy cos<a，b>+1＝0.
由于我们知道2D点的图像位置，三个余弦角cos a，b，cos b，c，cosa，c是已知的。同时，u＝BC^2/AB^2，w＝AC^2/AB^2可以通过A，B，C在世界坐标系下的坐标算出，变换到相机坐标系下之后，并不改变这个比值，所以也是已知量。该式中的x，y是未知的，随着相机移动会发生变化。
因此，P3P问题最终可以转换成关于x，y的一个二元二次方程(多项式方程)，该方程最多可能得到四个解(有上一小节也可以得出该结论)，但我们可以用验证点来计算最可能的解，得到A，B，C在相机坐标系下的3D坐标以及相机的位姿。
坐标获取采用zed的点云信息获取，左目为主相机，左目获取的RGB图像中的每一个点(右目未被遮挡，无重影部分)，已由双目测距算法得出具体的三维坐标(单位mm)，只要将RGB图像中某点的像素坐标输入，即可得出该点相对于左目的三维坐标。
为了验证系统的可行性以及精度，在大包换水实验平台上进行测试，实验设备采用KUKA KR4机器人，ZED双目工业相机，研华工控机，16G内存，8G显卡。请重点参考图6和图7，实验设备2D结构图。
台架组件(100)：采用工业级铝型材及钣金件搭建而成。台架分上下两层，上层用于安放机器人和操作对象，下层用于安放电气控制柜和电器安装板，还可以放置其他物品。工作台三面都有双开门，后面配备散热风机，方便机器人等控制柜的安装和散热。底部装有可调节高度的脚轮，方便设备运动和放置。
机器人本体工作站(101)：采用机器人安装底座、机器人、工装夹爪等组装而成，用于配合视觉进行长水口安装、拆卸的替换功能。
长水口库位(102)：采用长水口台架和长水口组件组装而成，用于长水口组件的放置和定位。
大包旋转组件(103)：采用旋转支架和大包组件组装而成，用于模拟工业中连铸大包过程中的双工位回转平台，为双目视觉的识别、长水口的拆卸提供可靠的实验对象。
相机组件(104)：采用工业级铝型材、安装底板、钣金折弯件等搭建而成，用于放置、固定双目相机。
定位组件(105)：采用钣金、铝件等搭建而成，铝件底部安装磁钢，用于吸附在底部的钣金上，不用时也可以随时拿走。铝件顶部做成锥尖，与机器人末端的定位工装配合，实现机器人的原点定位。
控制盒(106)：采用工业级铝型材、环氧树脂板、尼龙件、各种操作按钮等组成，用于简单的控制产品，与所述双目相机和机器人本体工作站(101)的电性连接。
气源组件(107)：支撑机构采用工业级铝型材和直角件，配有国内外知名品牌的气源处理元件、滑阀、接头。
在环境光源良好的情况下，通过手动调整水口的方向，双目相机进行拍照，进行图像处理，计算出当前水口的姿态，将位姿X,Y,Z，A,B,C值通过以太网发送给KUKA机器人,机器人根据接收到的值，更改当前姿态，实现长水口安装，实验结果如下表：
表1：双目视觉定位值与实际装配值比较(单位mm)
Figure BDA0003192400710000111
以通过多次实验可知，总体误差在0.5mm以内，满足工业现场中大部分机器人抓取及装配应用，具有较高的性价比。本系统采用Python编程语言进行开发，调用OpenCV视觉库完成图像处理等相关工作，为机器人装配提供良好的解决方案。
上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种双目视觉引导的机器人智能装配方法，
其特征在于，包括以下步骤：
S1、双目视觉单元固定在工作台上，获取工作区域的图像；
S2、图像处理及计算单元负责图像的采集及处理，然后进行标定，先进行单相机标定再进行双目标定，最后与机器人进行手眼标定，标定完成之后再进行位姿求解；
S3、通过以太网的方案将结果发送给机器人；
S4、机器人根据收到的数据调整装配的位姿。
2.根据权利要求1所述的一种双目视觉引导的机器人智能装配方法，其特征在于：步骤S1中，采用ZEDmini双目视觉相机，通过ZED API控制相机和配置参数。
3.根据权利要求1所述的一种双目视觉引导的机器人智能装配方法，其特征在于，步骤S2中，第一步，单相机标定根据相机模型建立相机图像像素位置与实际点位置关系，已知实际点的图像坐标和世界坐标求解摄像机的模型参数；
第二步，在进行双目标定时，需要使用两个相机对同一标定板进行多次取图，分别标定出各自的内参和相对于标定板的外参，然后便可计算出两相机位置间的关系；
第三步，机器人视觉系统中要实现像素坐标与实际坐标的转换，需要再进行手眼标定；
第四步，进行位姿求解，位姿包括坐标系的旋转信息和位移信息；位移信息由双目相机测量和相似三角形的原理计算得出，旋转信息采用PnP算法计算得出即求解3D到2D点对运动的方法。
4.根据权利要求3所述的一种双目视觉引导的机器人智能装配方法，其特征在于，步骤S2的第一步中，所述单相机标定根据针孔成像模型，空间任一点p在世界坐标系坐标(Xw，Yw，Zw)与其图像投影点p'坐标(u，v)的关系式为
Figure FDA0003192400700000021
采用张正友相机标定法分别拍20张棋盘格标定板，代入p与p'的关系式，建立摄像机图像像素位置与物体空间位置之间的关系，即坐标系与图像坐标系之间的关系。
5.根据权利要求3所述的一种双目视觉引导的机器人智能装配方法，其特征在于，步骤S2的第二步中，两相机位置间的关系为
R＝Rr(RI)T
T＝Tr-RTI
其中，R为两摄像头间的旋转矩阵，T为两摄像头间的平移矩阵。Rr为右摄像头经过张氏标定得到的相对标定物的旋转矩阵，Tr为右摄像头通过张氏标定得到的相对标定物的平移向量。R1为左摄像头经过张氏标定得到的相对相同标定物的旋转矩阵，T1为左摄像头经过张氏标定得到的相对相同标定物的平移向量。
6.根据权利要求3所述的一种双目视觉引导的机器人智能装配方法，其特征在于，步骤S2的第三步中，手眼标定得到机器手坐标系H转化为摄像机坐标系C的转化矩阵T3表示为：C＝T3*H。
7.根据权利要求3所述的一种双目视觉引导的机器人智能装配方法，其特征在于，步骤S2的第四步中，位移信息利用双目相机进行测距以及双目相机的俯视图，得出双摄像头测距的原理接近三角形关系：
Figure FDA0003192400700000022
整理后求出
Figure FDA0003192400700000023
d＝uL-uR，d为横坐标之差，称为视差。
8.根据权利要求3所述的一种双目视觉引导的机器人智能装配方法，其特征在于，步骤S2的第四步中，旋转信息利用双摄像头获取空间中某点三维坐标，坐标计算利用相似三角形的原理，空间中某点的三维坐标就是(X/W,Y/W,Z/W)，利用变换矩阵Q求出Z值：
Figure FDA0003192400700000031
其中，f为焦距，d为视差，Tx为摄像头中心距。
9.一种双目视觉引导的机器人智能系统，其特征在于，包括
双目视觉单元，固定在工作台上，用于获取工作区域的图像；
图像处理及计算单元，用于图像的采集及处理，然后进行标定，标定完成之后再进行位姿求解；
信息传输单元，用于通过以太网的方案将结果发送给机器人；
机器人，用于根据信息传输单元发出的数据来调整装配的位姿。
10.一种权利要求1-8任一项所述的双目视觉引导的机器人的智能装配装置，其特征在于，所述装置包括
台架组件(100)，所述台架组件(100)分上下两层，上层用于安放权利要求1所述的机器人和操作对象，下层用于安放电气控制柜和电器安装板；
机器人本体工作站(101)，采用机器人安装底座、机器人、工装夹爪组装而成，用于配合视觉进行长水口安装、拆卸的替换功能；
长水口库位(102)，采用长水口台架和长水口组件组装而成，用于长水口组件的放置和定位；
大包旋转组件(103)，采用旋转支架和大包组件组装而成，用于模拟工业中连铸大包过程中的双工位回转平台，为权利要求1所述的双目视觉的识别、长水口的拆卸提供实验对象；
相机组件(104)，用于放置、固定双目相机；
定位组件(105)，铝件底部安装磁钢，用于吸附在底部的钣金上；铝件顶部做成锥尖，与机器人末端的定位工装配合，实现机器人的原点定位；
控制盒(106)，用于控制产品，与所述双目相机和机器人本体工作站(101)的电性连接；
气源组件(107)，配有气源处理元件、滑阀、接头。
CN202110883403.5A 2021-08-02 2021-08-02 一种双目视觉引导的机器人智能装配方法、系统及装置 Pending CN113593050A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110883403.5A CN113593050A (zh) 2021-08-02 2021-08-02 一种双目视觉引导的机器人智能装配方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110883403.5A CN113593050A (zh) 2021-08-02 2021-08-02 一种双目视觉引导的机器人智能装配方法、系统及装置

Publications (1)

Publication Number Publication Date
CN113593050A true CN113593050A (zh) 2021-11-02

Family

ID=78254011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110883403.5A Pending CN113593050A (zh) 2021-08-02 2021-08-02 一种双目视觉引导的机器人智能装配方法、系统及装置

Country Status (1)

Country Link
CN (1) CN113593050A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797459A (zh) * 2022-08-29 2023-03-14 南京航空航天大学 一种任意焦距组合的双目视觉系统测距方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797459A (zh) * 2022-08-29 2023-03-14 南京航空航天大学 一种任意焦距组合的双目视觉系统测距方法
CN115797459B (zh) * 2022-08-29 2024-02-13 南京航空航天大学 一种任意焦距组合的双目视觉系统测距方法

Similar Documents

Publication Publication Date Title
CN110666798B (zh) 一种基于透视变换模型的机器人视觉标定方法
US8095237B2 (en) Method and apparatus for single image 3D vision guided robotics
US6816755B2 (en) Method and apparatus for single camera 3D vision guided robotics
CN109454634B (zh) 一种基于平面图像识别的机器人手眼标定方法
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
US9124873B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
JP2020116734A (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
Zhan et al. Hand–eye calibration and positioning for a robot drilling system
CN109658460A (zh) 一种机械臂末端相机手眼标定方法和系统
CN109448054A (zh) 基于视觉融合的目标分步定位方法、应用、装置及系统
CN111127568B (zh) 一种基于空间点位信息的相机位姿标定方法
CN110136204B (zh) 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统
CN110465946B (zh) 一种像素坐标与机器人坐标关系标定方法
CN110136068B (zh) 基于双侧远心镜头相机之间位置标定的音膜球顶装配系统
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
CN116740187A (zh) 一种无重叠视场多相机联合标定方法
CN113593050A (zh) 一种双目视觉引导的机器人智能装配方法、系统及装置
CN116652970B (zh) 一种四轴机械臂2d手眼标定方法及系统、存储介质
CN113847874B (zh) 一种基于视觉的位移台位移方向标定方法
CN112815832B (zh) 一种基于3d靶标的测量相机坐标系计算方法
CN114643577B (zh) 一种通用型机器人视觉自动标定装置和方法
CN111823222B (zh) 单目相机多视场视觉引导装置及引导方法
CN114589682A (zh) 一种机器人手眼自动标定的迭代方法
Yu et al. Vision-based method of kinematic calibration and image tracking of position and posture for 3-RPS parallel robot
Horaud et al. Euclidean reconstruction and affine camera calibration using controlled robot motions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination