CN107545587B - 基于主辅眼的圆钢端面双目视觉定位方法 - Google Patents

基于主辅眼的圆钢端面双目视觉定位方法 Download PDF

Info

Publication number
CN107545587B
CN107545587B CN201710878572.3A CN201710878572A CN107545587B CN 107545587 B CN107545587 B CN 107545587B CN 201710878572 A CN201710878572 A CN 201710878572A CN 107545587 B CN107545587 B CN 107545587B
Authority
CN
China
Prior art keywords
round steel
camera
auxiliary
face
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710878572.3A
Other languages
English (en)
Other versions
CN107545587A (zh
Inventor
张付祥
李伟峰
黄风山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Science and Technology
Original Assignee
Hebei University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Science and Technology filed Critical Hebei University of Science and Technology
Priority to CN201710878572.3A priority Critical patent/CN107545587B/zh
Publication of CN107545587A publication Critical patent/CN107545587A/zh
Application granted granted Critical
Publication of CN107545587B publication Critical patent/CN107545587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于主辅眼的圆钢端面双目视觉定位方法，所述方法包括如下步骤：（1）主相机标定；（2）双目相机标定；（3）主相机求取x、y值；（4）主、辅相机求取z值。该方法在对圆钢端面中心进行定位时，既能利用单目的方式得到x，y值，又能利用双目的方式得到圆钢端面中心的z值，在保证x，y值精度的同时，极大地简化了的双目视差的求取步骤、得到圆钢端面中心的空间坐标，取得精度和效率的最佳。

Description

基于主辅眼的圆钢端面双目视觉定位方法
技术领域
本发明涉及一种基于主辅眼的双目视觉定位方法，尤其是涉及一种基于主辅眼的圆钢端面双目视觉的定位方法。
背景技术
圆钢是当前钢铁行业的主要产品，更是工业领域重要的生产加工原材料。在不同行业对于圆钢的质量要求也是不同的，钢铁行业所生产的圆钢规格也是多种多样，为了区分不同种类、规格的圆钢，需要为圆钢粘贴标签，以便于识别圆钢的一些基本信息。购货商可以通过标签了解到圆钢的直径、长度以及生产炉号、成分、生产日期等信息。
目前，标签都是粘贴在圆钢的端面处，随着计算机视觉的发展，应用机器人自动贴标代替人工手动贴标成为了发展趋势。机器人贴标具有速度快、精度高、自动化等特点。要想实现机器人的准确贴标，首先要为机器人提供准确的圆钢端面坐标，但是由于钢厂生产环境复杂，照明不足，相机在提取图片时需要增加照明，这样圆钢端面就会出现反光，获得的图像在圆钢端面处会出现白色区域，此区域就是影响立体匹配的一种常见因素弱纹理，使得匹配不准确，得到的是视差值误差增大，而双目视觉系统求取坐标（x，y，z）都是依赖于视差值，如果视差值误差太大将会对x、y、z都产生很大影响。对于机器人贴标系统来说其x、y值要求精度较高，在±1mm，而在z值方向上有伸缩装置，其精度可以为±5mm，因此提出一种基于主辅眼的圆钢端面双目视觉定位方法用来解决x、y定位精度差和z计算复杂的问题。目前，还没有针对基于主辅眼的圆钢端面双目视觉定位方法。
发明内容
基于以上原因，本发明旨在提出一种基于主辅眼的圆钢端面双目视觉定位方法，为最终建立基于双目视觉的自动贴标系统奠定技术基础。
本发明是根据圆钢贴标的特点提出的一种基于主辅眼的圆钢端面双目视觉定位方法。主辅眼定位思想是将相机分为主相机与辅相机，主相机运用三角形内插值法标定求出较为精确的x、y值，主相机与辅相机组成双目视觉系统运用张正友标定法进行二次标定获得主辅相机的内外参，用以求视差值，再利用三角测距原理求出z值。
基于主辅眼的圆钢端面双目视觉定位方法包括如下步骤：
（1）主相机标定；
（2）双目相机标定；
（3）主相机求取x、y值；
（4）主、辅相机求取z值。
本发明的有益技术效果包括：
（1）主相机求取x、y值，主、辅相机求取z值；
（2）主相机应用三角形内插值法标定，主辅相机组成的双目系统用张正友标定法进行二次标定；
（3）本方法在对圆钢端面中心进行定位时，既能利用单目的方式得到x，y值，又能利用双目的方式得到圆钢端面中心的z值，在保证x，y值精度的同时，极大地简化了的双目视差的求取步骤、得到圆钢端面中心的空间坐标，取得精度和效率的最佳。
附图说明
图1是本发明基于主辅眼的圆钢端面双目视觉定位方法的流程图；
图2是本发明方法的主辅相机摆放位置与坐标系示意图；
图3是本发明方法的主相机三角形内插值法坐标转换示意图。
具体实施例：
下面结合附图1-3说明本发明方法。
以φ60圆钢为例说明本发明的应用，首先建立一个双目视觉系统，圆钢水平放置，主相机布置在圆钢端面的正前方，辅相机在圆钢端面左前方，主相机与辅相机的轴线相交于圆钢端面处，其相机摆放位置与坐标系如图2所示。C l 和C r 分别代表左相机和右相机的光心位置，沿X轴放置。以C l 为原点建立XYZ坐标系，X轴水平朝右为正方向，Z轴向后为正方向，Y轴符合右手定则、向下为正方向。C l 、C r 的距离称为基线b。
1、主相机标定
采用三角内插值法进行标定，建立坐标系如图3所示，XOY为世界坐标系，ucv是图片上的像素坐标系，在世界坐标系XOY中三角形P 1 P 2 P 3在像素坐标系ucv的投影为p 1 p 2 p 3，P点在三角形P 1 P 2 P 3中，与P点对应的p则在三角形p 1 p 2 p 3中，已知点P 1（X 1,Y 1），P 2（X 2,Y 2），P 3（X 3,Y 3）和P（X,Y）的坐标则有如下关系式：
Figure 210262DEST_PATH_IMAGE002
求解可得m、n；
在图片坐标系上与点P 1，P 2，P 3和P对应的点为p 1(u 1 ,v 1 )，p 2(u 2,v 2)，p 3(u 3,v 3)和p(u,v)也有如下关系式：
Figure 189720DEST_PATH_IMAGE004
求解可得k、l；
可以证明式m=k，n=l，已知像素坐标系中三个标定点的像素坐标与该三角形内的一个目标点的像素坐标，并且已知三个标定点的世界坐标，就可以求出目标点的世界坐标。
标定过程是准备一个标定板，确定世界坐标系，确定出标定板上每一个标定点的世界坐标，保存在程序中；将标定板放置在圆钢端面处，获取标定板的图像，经过图像处理得到每个标定点的像素坐标，保存到程序中，标定进行一次即可。
2、双目相机标定
采用传统的张正友标定法，利用MATLAB标定工具箱进行双目标定的。在标定时棋盘标定板放置在圆钢端面的工位处，每个相机取最少3张不同角度的图像，利用MATLAB标定工具箱相机进行标定获得其各自的内、外参，相机内、外参的标准形式如下：
Figure 969457DEST_PATH_IMAGE006
A为内参矩阵，其形式为：
Figure 364666DEST_PATH_IMAGE008
其中，f x 为归一化后的x方向上的焦距，f y 为归一化后的y方向上的焦距，u 0 、v 0为主点坐标。（R|t）为外参，是一个3×4的矩阵，R为3×3的旋转矩阵，t为平移向量。在第一左相机与第二右相机标定完成后，将其各自的标定参数按照MATLAB标定工具箱的要求导入，进行双目标定，得到左相机相对于右相机的姿态矩阵的旋转向量om，以及位移向量T，旋转向量om可以利用函数rodrigues转换为3×3旋转矩阵。标定完成后程序自动记录参数，后续程序直接调用参数不用进行二次标定。
3、主相机求取x，y值
（1）图像增强
主相机获取图像，图像增强采用灰度变换增强法，在MATLAB中利用函数imadjust进行立体图像对增强，该函数中原图像中要变换的灰度范围可以通过函数stretchlim自动获得，也可采用固定值，在图像采集环境不变的情况下采用固定值可以使程序运行速度更快，本程序采用固定值，经验证在[0.5;1]时最优。图像变换后的灰度范围设置为默认值即0-255。
（2）图像二值化
图像二值化在MATLAB中是通过im2bw函数将灰度图像转换为二值图像的，在使用im2bw函数时必须首先设置阈值参数，可以通过graythresh函数自动获取阈值，也可以采用固定阈值。由于本系统图像提取是在光照情况下进行的，获取的图像稳定，采用固定阈值不仅可以提高图像质量，而且还可以提高系统运行速度，因此本系统采用固定阈值，经验证阈值为0.6时最优。
（3）图像圆形拟合
在图像处理中通过已知条件圆钢直径φ60，利用最小二乘法拟合圆可以得到较为准确的圆形轮廓。圆曲线方程为：
Figure 992088DEST_PATH_IMAGE010
。
展开可得：
Figure 814550DEST_PATH_IMAGE012
。
令：
Figure 81584DEST_PATH_IMAGE014
，
Figure 903653DEST_PATH_IMAGE016
，
Figure 572531DEST_PATH_IMAGE018
，则有：
Figure 628212DEST_PATH_IMAGE020
。
将圆钢边界作为样本集（x i ，y i ），样本集中第i个点到圆心的距离d i 为：
Figure 382541DEST_PATH_IMAGE022
。
点（x i ，y i ）到圆钢边界的距离的平方与半径平方的差为：
Figure 932603DEST_PATH_IMAGE024
。
σ i 的平方和Q(a，b，c)为：
Figure 455988DEST_PATH_IMAGE026
。
使Q(a，b，c)取最小值可得a、b、c的值，进而可求出A、B、R的值，对圆钢边界进行圆形拟合后可以获得圆心像素坐标（A，B）。
（4）求取x，y值
通过圆形拟合获得圆钢端面中心点的像素坐标后，调用主相机标定的参数，利用三角内插值法，应用MATLAB中的griddata函数即可求得圆钢端面中心的x，y坐标。
4、主、辅相机求取z值
（1）辅图像极线校正
辅相机获取辅图像，对辅图像进行极线校正，极线校正过程是将在主辅相机标定时获得的主相机内外参P 1 =A 1 (R 1 |t 1 )、辅相机内外参P 2=A 2(R 2|t 2)和辅相机获取的辅图像对作为输入参数，获得新的校正后的辅图像。极线校正通常经过单应变换H完成，H=A 2(R 2|t 2)(R 1|t 1)-1 A 1 -1为3×3矩阵。设原图像上的任意一点为m经过极线校正后对应点为m ’ ，它们的关系为：m ’ =Hm。校正后主图像与辅图像在同一平面上，主图像与辅图像的x轴与基线平行，对应点具有相同的y坐标。
（2）辅图像增强
图像增强采用灰度变换增强法，在MATLAB中利用函数imadjust进行图像增强，该函数中原图像中要变换的灰度范围可以通过函数stretchlim自动获得，也可采用固定值，在图像采集环境不变的情况下采用固定值可以使程序运行速度更快，本程序采用固定值，经验证在[0.5;1]时最优。图像变换后的灰度范围设置为默认值即0-255。
（3）辅图像二值化
图像二值化在MATLAB中是通过im2bw函数将灰度图像转换为二值图像的，在使用im2bw函数时必须首先设置阈值参数，可以通过graythresh函数自动获取阈值，也可以采用固定阈值。由于本系统图像提取是在光照情况下进行的，获取的图像稳定，采用固定阈值不仅可以提高图像质量，而且还可以提高系统运行速度，因此本系统采用固定阈值，经验证阈值为0.6时最优。
（4）辅图像圆形拟合
通过已知条件圆钢直径φ60，利用最小二乘法拟合圆可以得到较为准确的圆形轮廓。圆曲线方程为：
Figure DEST_PATH_IMAGE027
。
展开可得：
Figure DEST_PATH_IMAGE028
。
令：
Figure 948149DEST_PATH_IMAGE014
，
Figure 501359DEST_PATH_IMAGE016
，
Figure 776483DEST_PATH_IMAGE018
，则有：
Figure DEST_PATH_IMAGE029
。
将圆钢边界作为样本集（x i ，y i ），样本集中第i个点到圆心的距离d i 为：
Figure DEST_PATH_IMAGE030
。
点（x i ，y i ）到圆钢边界的距离的平方与半径平方的差为：
Figure 482270DEST_PATH_IMAGE024
。
σ i 的平方和Q(a，b，c)为：
Figure 817437DEST_PATH_IMAGE026
。
使Q(a，b，c)取最小值可得a、b、c的值，进而可求出A、B、R的值，对圆钢边界进行圆形拟合后可以获得圆心像素坐标（A，B）。
（5）求取z值
经过图像处理后得到主图像圆钢端面中心的像素坐标（x 1、y 1），辅图像圆钢端面中心的像素坐标（x 2、y 2），视差值d=x 1-x 2，利用三角测距原理就可以求出z值，公式为：
Figure DEST_PATH_IMAGE032
其中：f为相机的焦距。

Claims (1)

1.基于主辅眼的圆钢端面双目视觉定位方法，所述方法包括如下步骤：
（1）主相机采用三角内插值法标定；
（2）双目相机采用张正友标定法，利用MATLAB标定工具箱标定；
（3）主相机获取图像，采用灰度变换增强法，在MATLAB中用函数imadjust进行立体图像对增强，用im2bw函数将灰度图像转换为二值图像，根据已知条件圆钢直径信息，用最小二乘法拟合圆得到圆形轮廓，用griddata函数求取圆钢端面中心的x、y值；
（4）辅相机获取辅图像，进行辅图像极线校正、辅图像增强、辅图像二值化和辅图像圆形拟合，主、辅相机经过图像处理后得到主图像圆钢端面中心的像素坐标（x 1、y 1），辅图像圆钢端面中心的像素坐标（x 2、y 2），视差值d=x 1-x 2，利用三角测距原理求取圆钢端面中心的z值，计算公式为
Figure 271598DEST_PATH_IMAGE001
，其中：B为圆形拟合后获得圆心像素坐标的y坐标，f为相机的焦距。
CN201710878572.3A 2017-09-26 2017-09-26 基于主辅眼的圆钢端面双目视觉定位方法 Active CN107545587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710878572.3A CN107545587B (zh) 2017-09-26 2017-09-26 基于主辅眼的圆钢端面双目视觉定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710878572.3A CN107545587B (zh) 2017-09-26 2017-09-26 基于主辅眼的圆钢端面双目视觉定位方法

Publications (2)

Publication Number Publication Date
CN107545587A CN107545587A (zh) 2018-01-05
CN107545587B true CN107545587B (zh) 2020-07-10

Family

ID=60964340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710878572.3A Active CN107545587B (zh) 2017-09-26 2017-09-26 基于主辅眼的圆钢端面双目视觉定位方法

Country Status (1)

Country Link
CN (1) CN107545587B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111558791B (zh) * 2020-05-27 2020-10-09 江苏金恒信息科技股份有限公司 一种自动焊接标牌的方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000036970A (ja) * 1998-05-13 2000-02-02 Gen Tec:Kk 立体視画像生成装置及び同生成方法
CN104949658B (zh) * 2015-06-12 2018-02-27 华北电力大学（保定） 基于双目立体视觉技术的导线脱冰跳跃轨迹测量装置
CN107133983B (zh) * 2017-05-09 2019-07-02 河北科技大学 成捆圆钢端面双目视觉系统与空间定位及计数方法
CN107179322A (zh) * 2017-06-15 2017-09-19 长安大学 一种基于双目视觉的桥梁底面裂缝检测方法

Also Published As

Publication number Publication date
CN107545587A (zh) 2018-01-05

Similar Documents

Publication Publication Date Title
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
CN107133983B (zh) 成捆圆钢端面双目视觉系统与空间定位及计数方法
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及系统
CN112669394B (zh) 一种用于视觉检测系统的自动标定方法
CN109297436B (zh) 双目线激光立体测量基准标定方法
CN107942949A (zh) 一种机床视觉定位方法及系统、机床
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN110749290B (zh) 基于三维投影的特征信息快速定位方法
CN114705122B (zh) 一种大视场立体视觉标定方法
CN110095089B (zh) 一种飞行器旋转角度的测量方法及系统
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN108627104A (zh) 一种零部件高度尺寸的点激光测量方法
CN114029946A (zh) 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN113119129A (zh) 一种基于标准球的单目测距定位方法
CN111199542A (zh) 工装板的精确定位方法
CN111047586A (zh) 一种基于机器视觉的像素当量测量方法
CN104807405A (zh) 一种基于光线角度标定的三维坐标测量方法
CN113129384A (zh) 基于一维编码靶标的双目视觉系统灵活标定方法
CN104167001A (zh) 基于正交补偿的大视场摄像机标定方法
CN111652943A (zh) 离焦数字条纹投影标定装置及方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN107545587B (zh) 基于主辅眼的圆钢端面双目视觉定位方法
CN111833392A (zh) 标记点多角度扫描方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant