CN107545587A - 基于主辅眼的圆钢端面双目视觉定位方法 - Google Patents

基于主辅眼的圆钢端面双目视觉定位方法 Download PDF

Info

Publication number
CN107545587A
CN107545587A CN201710878572.3A CN201710878572A CN107545587A CN 107545587 A CN107545587 A CN 107545587A CN 201710878572 A CN201710878572 A CN 201710878572A CN 107545587 A CN107545587 A CN 107545587A
Authority
CN
China
Prior art keywords
round steel
value
steel end
camera
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710878572.3A
Other languages
English (en)
Other versions
CN107545587B (zh
Inventor
张付祥
李伟峰
黄风山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Science and Technology
Original Assignee
Hebei University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Science and Technology filed Critical Hebei University of Science and Technology
Priority to CN201710878572.3A priority Critical patent/CN107545587B/zh
Publication of CN107545587A publication Critical patent/CN107545587A/zh
Application granted granted Critical
Publication of CN107545587B publication Critical patent/CN107545587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

基于主辅眼的圆钢端面双目视觉定位方法，所述方法包括如下步骤：（1）主相机标定；（2）双目相机标定；（3）主相机求取x、y值；（4）主、辅相机求取z值。该方法在对圆钢端面中心进行定位时，既能利用单目的方式得到x，y值，又能利用双目的方式得到圆钢端面中心的z值，在保证x，y值精度的同时，极大地简化了的双目视差的求取步骤、得到圆钢端面中心的空间坐标，取得精度和效率的最佳。

Description

基于主辅眼的圆钢端面双目视觉定位方法
技术领域
本发明涉及一种基于主辅眼的双目视觉定位方法，尤其是涉及一种基于主辅眼的圆钢端面双目视觉的定位方法。
背景技术
圆钢是当前钢铁行业的主要产品，更是工业领域重要的生产加工原材料。在不同行业对于圆钢的质量要求也是不同的，钢铁行业所生产的圆钢规格也是多种多样，为了区分不同种类、规格的圆钢，需要为圆钢粘贴标签，以便于识别圆钢的一些基本信息。购货商可以通过标签了解到圆钢的直径、长度以及生产炉号、成分、生产日期等信息。
目前，标签都是粘贴在圆钢的端面处，随着计算机视觉的发展，应用机器人自动贴标代替人工手动贴标成为了发展趋势。机器人贴标具有速度快、精度高、自动化等特点。要想实现机器人的准确贴标，首先要为机器人提供准确的圆钢端面坐标，但是由于钢厂生产环境复杂，照明不足，相机在提取图片时需要增加照明，这样圆钢端面就会出现反光，获得的图像在圆钢端面处会出现白色区域，此区域就是影响立体匹配的一种常见因素弱纹理，使得匹配不准确，得到的是视差值误差增大，而双目视觉系统求取坐标（x，y，z）都是依赖于视差值，如果视差值误差太大将会对x、y、z都产生很大影响。对于机器人贴标系统来说其x、y值要求精度较高，在±1mm，而在z值方向上有伸缩装置，其精度可以为±5mm，因此提出一种基于主辅眼的圆钢端面双目视觉定位方法用来解决x、y定位精度差和z计算复杂的问题。目前，还没有针对基于主辅眼的圆钢端面双目视觉定位方法。
发明内容
基于以上原因，本发明旨在提出一种基于主辅眼的圆钢端面双目视觉定位方法，为最终建立基于双目视觉的自动贴标系统奠定技术基础。
本发明是根据圆钢贴标的特点提出的一种基于主辅眼的圆钢端面双目视觉定位方法。主辅眼定位思想是将相机分为主相机与辅相机，主相机运用三角形内插值法标定求出较为精确的x、y值，主相机与辅相机组成双目视觉系统运用张正友标定法进行二次标定获得主辅相机的内外参，用以求视差值，再利用三角测距原理求出z值。
基于主辅眼的圆钢端面双目视觉定位方法包括如下步骤：
（1）主相机标定；
（2）双目相机标定；
（3）主相机求取x、y值；
（4）主、辅相机求取z值。
本发明的有益技术效果包括：
（1）主相机求取x、y值，主、辅相机求取z值；
（2）主相机应用三角形内插值法标定，主辅相机组成的双目系统用张正友标定法进行二次标定；
（3）本方法在对圆钢端面中心进行定位时，既能利用单目的方式得到x，y值，又能利用双目的方式得到圆钢端面中心的z值，在保证x，y值精度的同时，极大地简化了的双目视差的求取步骤、得到圆钢端面中心的空间坐标，取得精度和效率的最佳。
附图说明
图1是本发明基于主辅眼的圆钢端面双目视觉定位方法的流程图；
图2是本发明方法的主辅相机摆放位置与坐标系示意图；
图3是本发明方法的主相机三角形内插值法坐标转换示意图。
具体实施例：
下面结合附图1-3说明本发明方法。
以φ60圆钢为例说明本发明的应用，首先建立一个双目视觉系统，圆钢水平放置，主相机布置在圆钢端面的正前方，辅相机在圆钢端面左前方，主相机与辅相机的轴线相交于圆钢端面处，其相机摆放位置与坐标系如图2所示。C l 和C r 分别代表左相机和右相机的光心位置，沿X轴放置。以C l 为原点建立XYZ坐标系，X轴水平朝右为正方向，Z轴向后为正方向，Y轴符合右手定则、向下为正方向。C l 、C r 的距离称为基线b。
1、主相机标定
采用三角内插值法进行标定，建立坐标系如图3所示，XOY为世界坐标系，ucv是图片上的像素坐标系，在世界坐标系XOY中三角形P 1 P 2 P 3在像素坐标系ucv的投影为p 1 p 2 p 3，P点在三角形P 1 P 2 P 3中，与P点对应的p则在三角形p 1 p 2 p 3中，已知点P 1（X 1,Y 1），P 2（X 2,Y 2），P 3（X 3,Y 3）和P（X,Y）的坐标则有如下关系式：
求解可得m、n；
在图片坐标系上与点P 1，P 2，P 3和P对应的点为p 1(u 1 ,v 1 )，p 2(u 2,v 2)，p 3(u 3,v 3)和p(u,v)也有如下关系式：
求解可得k、l；
可以证明式m=k，n=l，已知像素坐标系中三个标定点的像素坐标与该三角形内的一个目标点的像素坐标，并且已知三个标定点的世界坐标，就可以求出目标点的世界坐标。
标定过程是准备一个标定板，确定世界坐标系，确定出标定板上每一个标定点的世界坐标，保存在程序中；将标定板放置在圆钢端面处，获取标定板的图像，经过图像处理得到每个标定点的像素坐标，保存到程序中，标定进行一次即可。
2、双目相机标定
采用传统的张正友标定法，利用MATLAB标定工具箱进行双目标定的。在标定时棋盘标定板放置在圆钢端面的工位处，每个相机取最少3张不同角度的图像，利用MATLAB标定工具箱相机进行标定获得其各自的内、外参，相机内、外参的标准形式如下：
A为内参矩阵，其形式为：
其中，f x 为归一化后的x方向上的焦距，f y 为归一化后的y方向上的焦距，u 0 、v 0为主点坐标。（R|t）为外参，是一个3×4的矩阵，R为3×3的旋转矩阵，t为平移向量。在第一左相机与第二右相机标定完成后，将其各自的标定参数按照MATLAB标定工具箱的要求导入，进行双目标定，得到左相机相对于右相机的姿态矩阵的旋转向量om，以及位移向量T，旋转向量om可以利用函数rodrigues转换为3×3旋转矩阵。标定完成后程序自动记录参数，后续程序直接调用参数不用进行二次标定。
3、主相机求取x，y值
（1）图像增强
主相机获取图像，图像增强采用灰度变换增强法，在MATLAB中利用函数imadjust进行立体图像对增强，该函数中原图像中要变换的灰度范围可以通过函数stretchlim自动获得，也可采用固定值，在图像采集环境不变的情况下采用固定值可以使程序运行速度更快，本程序采用固定值，经验证在[0.5;1]时最优。图像变换后的灰度范围设置为默认值即0-255。
（2）图像二值化
图像二值化在MATLAB中是通过im2bw函数将灰度图像转换为二值图像的，在使用im2bw函数时必须首先设置阈值参数，可以通过graythresh函数自动获取阈值，也可以采用固定阈值。由于本系统图像提取是在光照情况下进行的，获取的图像稳定，采用固定阈值不仅可以提高图像质量，而且还可以提高系统运行速度，因此本系统采用固定阈值，经验证阈值为0.6时最优。
（3）图像圆形拟合
在图像处理中通过已知条件圆钢直径φ60，利用最小二乘法拟合圆可以得到较为准确的圆形轮廓。圆曲线方程为：。
展开可得：。
令：，，，则有：。
将圆钢边界作为样本集（x i ，y i ），样本集中第i个点到圆心的距离d i 为：。
点（x i ，y i ）到圆钢边界的距离的平方与半径平方的差为：
。
σ i 的平方和Q(a，b，c)为：。
使Q(a，b，c)取最小值可得a、b、c的值，进而可求出A、B、R的值，对圆钢边界进行圆形拟合后可以获得圆心像素坐标（A，B）。
（4）求取x，y值
通过圆形拟合获得圆钢端面中心点的像素坐标后，调用主相机标定的参数，利用三角内插值法，应用MATLAB中的griddata函数即可求得圆钢端面中心的x，y坐标。
4、主、辅相机求取z值
（1）辅图像极线校正
辅相机获取辅图像，对辅图像进行极线校正，极线校正过程是将在主辅相机标定时获得的主相机内外参P 1 =A 1 (R 1 |t 1 )、辅相机内外参P 2=A 2(R 2|t 2)和辅相机获取的辅图像对作为输入参数，获得新的校正后的辅图像。极线校正通常经过单应变换H完成，H=A 2(R 2|t 2) (R 1|t 1)-1 A 1 -1为3×3矩阵。设原图像上的任意一点为m经过极线校正后对应点为m ’ ，它们的关系为：m ’ =Hm。校正后主图像与辅图像在同一平面上，主图像与辅图像的x轴与基线平行，对应点具有相同的y坐标。
（2）辅图像增强
图像增强采用灰度变换增强法，在MATLAB中利用函数imadjust进行图像增强，该函数中原图像中要变换的灰度范围可以通过函数stretchlim自动获得，也可采用固定值，在图像采集环境不变的情况下采用固定值可以使程序运行速度更快，本程序采用固定值，经验证在[0.5;1]时最优。图像变换后的灰度范围设置为默认值即0-255。
（3）辅图像二值化
图像二值化在MATLAB中是通过im2bw函数将灰度图像转换为二值图像的，在使用im2bw函数时必须首先设置阈值参数，可以通过graythresh函数自动获取阈值，也可以采用固定阈值。由于本系统图像提取是在光照情况下进行的，获取的图像稳定，采用固定阈值不仅可以提高图像质量，而且还可以提高系统运行速度，因此本系统采用固定阈值，经验证阈值为0.6时最优。
（4）辅图像圆形拟合
通过已知条件圆钢直径φ60，利用最小二乘法拟合圆可以得到较为准确的圆形轮廓。圆曲线方程为：。
展开可得：。
令：，，，则有：。
将圆钢边界作为样本集（x i ，y i ），样本集中第i个点到圆心的距离d i 为：。
点（x i ，y i ）到圆钢边界的距离的平方与半径平方的差为：
。
σ i 的平方和Q(a，b，c)为：。
使Q(a，b，c)取最小值可得a、b、c的值，进而可求出A、B、R的值，对圆钢边界进行圆形拟合后可以获得圆心像素坐标（A，B）。
（5）求取z值
经过图像处理后得到主图像圆钢端面中心的像素坐标（x 1、y 1），辅图像圆钢端面中心的像素坐标（x 2、y 2），视差值d=x 1-x 2，利用三角测距原理就可以求出z值，公式为：
其中：f为相机的焦距。

Claims (5)

1.基于主辅眼的圆钢端面双目视觉定位方法，所述方法包括如下步骤：
（1）主相机标定；
（2）双目相机标定；
（3）主相机求取x、y值；
（4）主、辅相机求取z值。
2.根据权利要求1所述的圆钢端面双目图像视差求取方法，其特征在于第（1）步主相机采用三角内插值法进行标定。
3.根据权利要求1所述的圆钢端面双目图像视差求取方法，其特征在于第（2）步主相机采用张正友标定法进行标定。
4.根据权利要求1所述的圆钢端面双目图像视差求取方法，其特征在于第（3）步主相机求取x、y值时用MATLAB中的griddata函数求取圆钢端面中心的x，y坐标。
5.根据权利要求1所述的圆钢端面双目图像视差求取方法，其特征在于第（4）步主、辅相机求取z值时，经过图像处理后得到主图像圆钢端面中心的像素坐标（x 1、y 1），辅图像圆钢端面中心的像素坐标（x 2、y 2），视差值d=x 1-x 2，利用三角测距原理就可以求出z值为：，其中：B为圆形拟合后获得圆心像素坐标的y坐标，f为相机的焦距。
CN201710878572.3A 2017-09-26 2017-09-26 基于主辅眼的圆钢端面双目视觉定位方法 Active CN107545587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710878572.3A CN107545587B (zh) 2017-09-26 2017-09-26 基于主辅眼的圆钢端面双目视觉定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710878572.3A CN107545587B (zh) 2017-09-26 2017-09-26 基于主辅眼的圆钢端面双目视觉定位方法

Publications (2)

Publication Number Publication Date
CN107545587A true CN107545587A (zh) 2018-01-05
CN107545587B CN107545587B (zh) 2020-07-10

Family

ID=60964340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710878572.3A Active CN107545587B (zh) 2017-09-26 2017-09-26 基于主辅眼的圆钢端面双目视觉定位方法

Country Status (1)

Country Link
CN (1) CN107545587B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111558791A (zh) * 2020-05-27 2020-08-21 江苏金恒信息科技股份有限公司 一种自动焊接标牌的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000036970A (ja) * 1998-05-13 2000-02-02 Gen Tec:Kk 立体視画像生成装置及び同生成方法
CN104949658A (zh) * 2015-06-12 2015-09-30 华北电力大学（保定） 基于双目立体视觉技术的导线脱冰跳跃轨迹测量装置
CN107133983A (zh) * 2017-05-09 2017-09-05 河北科技大学 成捆圆钢端面双目视觉系统与空间定位及计数方法
CN107179322A (zh) * 2017-06-15 2017-09-19 长安大学 一种基于双目视觉的桥梁底面裂缝检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000036970A (ja) * 1998-05-13 2000-02-02 Gen Tec:Kk 立体視画像生成装置及び同生成方法
CN104949658A (zh) * 2015-06-12 2015-09-30 华北电力大学（保定） 基于双目立体视觉技术的导线脱冰跳跃轨迹测量装置
CN107133983A (zh) * 2017-05-09 2017-09-05 河北科技大学 成捆圆钢端面双目视觉系统与空间定位及计数方法
CN107179322A (zh) * 2017-06-15 2017-09-19 长安大学 一种基于双目视觉的桥梁底面裂缝检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111558791A (zh) * 2020-05-27 2020-08-21 江苏金恒信息科技股份有限公司 一种自动焊接标牌的方法及装置
CN111558791B (zh) * 2020-05-27 2020-10-09 江苏金恒信息科技股份有限公司 一种自动焊接标牌的方法及装置
WO2021238097A1 (zh) * 2020-05-27 2021-12-02 江苏金恒信息科技股份有限公司 一种自动焊接标牌的方法及装置

Also Published As

Publication number Publication date
CN107545587B (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN109035309B (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN105538345B (zh) 一种基于多镜头的智能机械手及定位装配方法
CN107133983B (zh) 成捆圆钢端面双目视觉系统与空间定位及计数方法
CN109165680B (zh) 基于视觉slam的室内场景下单一目标物体字典模型改进方法
CN110650427B (zh) 一种基于摄像机图像与uwb融合的室内定位方法和系统
CN112837257A (zh) 一种基于机器视觉的曲面标签拼接检测方法
CN104748683A (zh) 一种数控机床工件在线自动测量装置及测量方法
CN107545247B (zh) 基于双目识别的立体认知方法
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
CN103871061A (zh) 一种基于双目视觉的眼底图像处理方法
CN111008602B (zh) 一种小曲率薄壁零件用二维和三维视觉结合的划线特征提取方法
CN102982524A (zh) 玉米果穗有序图像的拼接方法
CN105991913A (zh) 一种基于机器视觉定位特征对象的方法
EP3716103A2 (en) Method and apparatus for determining transformation matrix, and non-transitory computer-readable recording medium
CN107545587A (zh) 基于主辅眼的圆钢端面双目视觉定位方法
CN113221953B (zh) 基于实例分割和双目深度估计的目标姿态识别系统与方法
CN114219866A (zh) 双目结构光三维重建方法、重建系统及重建设备
CN109014590B (zh) 一种激光蚀刻超幅面自由拼接加工方法
CN104794680B (zh) 基于同一卫星平台的多相机图像镶嵌方法及装置
CN104599267A (zh) 切割轨迹生成方法及装置
CN105335971A (zh) 基于图像的工件加工精确定位方法
CN107657624A (zh) 圆钢端面双目图像视差求取方法
CN114616586A (zh) 图像标注方法、装置、电子设备及计算机可读存储介质
CN111652945A (zh) 一种相机标定方法
CN103337064A (zh) 图像立体匹配中的一种误匹配点剔除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant