CN111862193A - 一种基于形状描述子的电焊焊点双目视觉定位方法及装置 - Google Patents

一种基于形状描述子的电焊焊点双目视觉定位方法及装置 Download PDF

Info

Publication number
CN111862193A
CN111862193A CN202010703156.1A CN202010703156A CN111862193A CN 111862193 A CN111862193 A CN 111862193A CN 202010703156 A CN202010703156 A CN 202010703156A CN 111862193 A CN111862193 A CN 111862193A
Authority
CN
China
Prior art keywords
image
camera
electric welding
target
binocular vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010703156.1A
Other languages
English (en)
Inventor
代作晓
郭光智
龙波
王晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TAICANG INSTITUTE OF OPTO-ELECTRONIC TECHNOLOGY
Shanghai Institute of Technical Physics of CAS
Original Assignee
TAICANG INSTITUTE OF OPTO-ELECTRONIC TECHNOLOGY
Shanghai Institute of Technical Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TAICANG INSTITUTE OF OPTO-ELECTRONIC TECHNOLOGY, Shanghai Institute of Technical Physics of CAS filed Critical TAICANG INSTITUTE OF OPTO-ELECTRONIC TECHNOLOGY
Priority to CN202010703156.1A priority Critical patent/CN111862193A/zh
Publication of CN111862193A publication Critical patent/CN111862193A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于形状描述子的电焊焊点双目视觉定位方法及装置，通过相机标定、图像采集、图像预处理、拟合外接矩形，且矩形的边分别平行于图像的行和列，并提取左图像目标区域的像素质心坐标、外接矩形的边长和面积，形成左形状描述子；在右图像中，基于极线约束进行形状特征的立体匹配，计算目标在相机坐标系下的三维空间坐标；刚体变换估计，基于ICP原理进行点云配准，计算目标在世界坐标系下的三维空间坐标。基于目标区域的连通性，拟合外接矩形，并提取图像目标区域的亚像素质心坐标、面积和外接矩形的边长作为形状描述子，进行特征立体匹配，能有效解决在弱纹理、光照条件差、强光反射大等恶劣情况下特征提取和描述的稳定性问题。

Description

一种基于形状描述子的电焊焊点双目视觉定位方法及装置
技术领域
本发明涉及双目视觉领域，具体涉及一种基于形状描述子的电焊焊点双目视觉定位方法及装置。
背景技术
双目视觉空间定位技术是基于计算机视觉发展起来的一项重要的非接触式三维测量技术，即由不同位置的两个摄像头模块同时拍摄目标图像，根据三角测量原理计算该目标的三维空间坐标。双目视觉空间定位技术具有测量速度快、实时性好、结构简单等优点，在生产生活中已经有了广泛的应用。现有的双目设备中在测量过程中大都是根据目标的纹理信息进行特征匹配，或者对于纹理较稀疏的目标使用线激光或者结构光进行辅助定位，但是这些方法无法适用于缺少丰富纹理特征且不能用激光等辅助手段进行立体匹配的非实质目标，诸如火焰、光源等的空间定位。
焊接是增材制造重要的手段，在船舶、能源、石化、汽车、航空航天等国防与民用领域有着极为广泛的应用。但是焊接过程产生的大量烟尘，会对环境及操作工人产生巨大伤害，是必须解决的重大现实需求。因此，针对焊接烟尘治理问题，各种焊接烟尘的吸收净化处理技术和装置应运而生。目前，工厂车间采用两种焊接烟尘处理方式，第一种是将车间的焊接烟气直接排放到大气中，达到改善车间内部环境的做法，但是，会对大气环境产生污染。第二种方法就是采用烟尘吸收净化装置，在烟尘源头上进行吸收，净化处理后排放，经过这种靶向式处理的烟气对环境不会造成很大的影响。所以，随着对环保要求的提高，焊接过程中焊点的实时定位就成为了亟需解决的技术问题。
发明内容
针对以上现有技术存在的缺陷，本发明的主要目的在于克服现有技术的不足之处，公开了一种基于形状描述子的电焊焊点双目视觉定位方法及装置，以解决焊接烟尘源头实时空间定位的问题。本发明为解决现有技术中存在的问题采用的技术方案如下：
一种基于形状描述子的电焊焊点双目视觉定位方法，包括步骤：
S1，相机标定，获取每个摄像头模块的内外参数和双摄像头模块之间的结构参数；
S2,图像采集，并进行畸变矫正和立体校正，获取无畸变和共面行对准的左、右两幅灰度图像；
S3，图像预处理，包括阈值分割、腐蚀和膨胀运算，获取目标区域高亮显示的左、右两幅二值图像；
S4，拟合外接矩形，且矩形的边分别平行于图像的行和列，并提取左图像目标区域的像素质心坐标、外接矩形的边长和面积，形成形状描述子；
S5，在右图像中，基于极线约束进行特征立体匹配，计算目标在相机坐标系下的三维空间坐标；
S6，刚体变换估计，基于ICP原理进行点云配准，计算目标在世界坐标系下的三维空间坐标。
进一步地，所述的基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S1中，对两个摄像头模块进行标定，获取每个摄像头模块的内、外参数和双摄像头模块之间的结构参数的步骤包括：
S101，两个摄像头模块同时拍摄棋盘格标定板位于不同位置的左、右图像；
S102，利用Matlab进行相机标定和立体标定；
S103，根据重投影误差剔除误差较大的左、右图像对；
S104，获取每个摄像头模块的内、外参数，畸变参数，和两个摄像头之间的结构参数，包括旋转矩阵和平移向量。
进一步地，所述的基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S2中，图像采集，并进行灰度处理、畸变矫正和立体校正，获取无畸变和共面行对准的左、右两幅灰度图像的具体方法包括：
S201，将左、右两幅3通道的RGB图像转化为两幅单通道的灰度图像；
S202，用相机标定得到的畸变参数分别对两幅灰度图像进行畸变矫正，获取无径向畸变的左、右两幅灰度图像；
S203，用相机标定得到的内参矩阵和立体标定得到摄像头模块之间的结构参数(旋转矩阵和平移向量)分别对两幅灰度图像进行立体校正，获取共面行对准的左、右两幅灰度图像；结构参数包括旋转矩阵和平移向量。
进一步地，所述的基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S3中，对左、右两幅灰度图像进行预处理，获取目标区域高亮显示的左、右两幅二值图像的具体方法包括：
S301，对对左、右两幅灰度图像进行阈值分割，此处阈值选择为250，高亮目标区域，并滤除一些较亮的环境噪声点；
S302，对左、右两幅灰度图像进行腐蚀运算，消除一些小且无意义的噪声点；
S303，对左、右两幅灰度图像进行膨胀运算，填补目标区域中的一些空像素点。
进一步地，所述的基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S4中，拟合外接矩形，且矩形的边分别平行于图像的行和列，并提取左图像目标区域的亚像素质心坐标、面积和外接矩形的边长，形成形状描述子的具体方法包括：
S401，对左二值图像的高亮目标区域拟合外接矩形，其中矩形的边分别平行于图像的行和列；
S402，对每个高亮目标区域运用计算几何距算法得到质心的亚像素坐标；
S403，提取左图像目标区域的亚像素质心坐标、面积和外接矩形的边长作为左形状描述子；
进一步地，所述的基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S5中，在右图像中，基于极线约束进行特征提取、描述和立体匹配，计算目标在相机坐标系下的三维空间坐标的具体方法包括：
S501，以左形状描述子的行为基准，在右图像中查找这个行附近的高亮目标区域，并进行和左图像同样的特征提取和体征描述；
S502，以3D欧几里德距离作为匹配准则计算匹配代价，选择代价最小的特征进行立体匹配；
S503，用奇异值分解法解超定方程组的最小二乘解，得到目标在相机坐标系下的三维空间坐标。
进一步地，所述的基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S6中，刚体变换估计，进行坐标系转换，基于ICP原理点云配准，计算目标在世界坐标系下的三维空间坐标的具体方法包括：
S601，采集15个点位于相机坐标系下和世界坐标系下的坐标；
S602，通过最小化三维点对间的3D欧几里的距离估计刚体变换参数，包括旋转矩阵和平移向量。
一种基于形状描述子的电焊焊点双目视觉定位装置，包括两片衰减片、两个摄像头模块、USB数据接口、双摄像头外壳和计算机，其中：
所述两片衰减片，分别安装在两个摄像头模块的镜头前端，用于滤除背景噪声，增强信噪比；
两块所述摄像头模块电路板，用于安装并连接所述摄像头模块和USB数据接口；
所述两个摄像头模块，安装在双摄像头外壳内部，构成平行双目视觉系统，用于图像采集，其中基线距离为20cm；
所述双摄像头外壳，用于摄像头模块的安装和固定；
所述USB数据接口，用于摄像头模块与计算机之间的图像传输；
所述计算机，用于图像处理、特征提取、形状特征描述、立体匹配等计算电焊在焊接过程中的焊点的实时空间位置。
在一实施例中，两个摄像头模块型号为MSK R4231，焦距为3.6mm，视场范围水平90°，垂直47°，图像分辨率为640×480。
与现有技术相比，本发明的显著优点为：
第一，双目视觉系统中摄像头模块的前端添加了衰减片，能够有效滤除环境背景噪声，增强了目标识别的可靠性，提高了算法的鲁棒性；
第二，基于目标区域的连通性，拟合外接矩形，并提取图像目标区域的亚像素质心坐标、面积和外接矩形的边长作为形状描述子，进行特征立体匹配，能有效解决在弱纹理、光照条件差、强光反射大等恶劣情况下特征提取和描述的稳定性问题；
第三，基于基线约束，以外接矩形的形状特征和目标区域的质心作为特征基元进行立体匹配，克服了传统特征描述符维度高、计算复杂的缺陷，只以形状特征进行相似性度量，计算量较小，处理速度快。
附图说明
图1为本发明所提供的基于形状描述子的电焊焊点双目视觉定位方法的流程图；
图2为本发明所提供的基于形状描述子的电焊焊点双目视觉定位方法中，相机标定的流程图。
图3为本发明所提供的基于形状描述子的电焊焊点双目视觉定位方法中，提取形状描述子的流程图。
图4为本发明所提供的基于形状描述子的电焊焊点双目视觉定位方法中，刚体变换参数估计的流程图。
图5为本发明所提供的基于形状描述子的电焊焊点双目视觉定位方法中，棋盘格标定板的示意图。
图6为本发明所提供的基于形状描述子的电焊焊点双目视觉定位方法中，摄像头重合视野的分区示意图。
图7为本发明所提供的基于形状描述子的电焊焊点双目视觉定位方法中，坐标系之间的结构示意图。
图8为本发明所提供的基于形状描述子的电焊焊点双目视觉定位方法中，直边外接矩形的像素坐标示意图。
图9为本发明所提供的基于形状描述子的电焊焊点双目视觉定位装置的结构示意图。
图10为本发明的基于形状描述子的电焊焊点双目视觉定位装置中，摄像头模块的结构示意图。
图11为本发明的基于形状描述子的电焊焊点双目视觉定位装置中，衰减片的结构示意图；
附图标记如下：
1、摄像头模块，2、双摄像头外壳，3、USB数据接口，4、衰减片，5、摄像头模块电路板。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1-8，本发明提供的一种基于形状描述子的电焊焊点双目视觉定位方法，包括步骤：
S1，相机标定，获取每个摄像头模块的内、外参数和双摄像头模块之间的结构参数。
需要标定的参数包括如下摄影测量共线方程中的：内部参数fx,fy,u0,v0和外部参数R,T：
Figure BDA0002593630970000071
其中，(Xw,Yw,Zw)为点P在世界坐标系中的坐标，(Xc,Yc,Zc)为点P在摄像机坐标系中的坐标，(u,v)为点P在像素坐标系中的坐标，fx,fy分别为x,y方向的等效焦距，(u0,v0)是图像中心(光轴与图像平面的交点)坐标，R,T分别为由世界坐标系到摄像机坐标系的正交变换矩阵和平移变换矩阵。
获取每个摄像头模块的内、外参数和双摄像头模块之间的结构参数的步骤包括：
S101，两个摄像头模块同时拍摄棋盘格标定板位于不同位置的左、右图像。
两个摄像头模块构成了平行双目视觉系统，将棋牌格标定板置于两个摄像头模块的重合视场内，同时拍摄棋盘格标定板的图像。
将两个摄像头模块的重合视野按图6分区方式分为4个1/4分区，在拍摄过程中，棋盘格尽可能占满每个1/4分区，并且在每个分区中，改变标定板的姿态，拍摄多张图像。
S102，利用Matlab进行相机标定和立体标定。
S1021、相机标定获取每个摄像头模块的几何和光学参数
利用Matlab标准工具箱进行相机标定得到每个摄像头模块的内参矩阵A和畸变参数k：
Figure BDA0002593630970000072
k＝(k1 k2)T
其中，fx,fy分别为x,y方向上的等效焦距，(u0,v0)是图像中心(光轴与图像平面的交点)坐标，ki(i＝1,2)为径向畸变系数。
S1022、立体标定获取两个摄像头模块之间的结构和位置参数
利用标定得到的内参矩阵A、畸变参数k和拍摄的左、右共轭图像对进行立体标定，得到一个正交变换矩阵R和一个平移变换矩阵T，使得：
Figure BDA0002593630970000081
其中，(XL,YL,ZL)为点在左摄像机坐标系下的坐标，(XR,YR,ZR)为点在右摄像机坐标系下的坐标，R为一个3×3的正交矩阵，
Figure BDA0002593630970000082
T为一个1×3的平移向量
Figure BDA0002593630970000083
S103，根据重投影误差剔除误差较大的左、右图像对。
由于标定板的打印和测量精度、特征点检测精度、图片拍摄角度、光照等的影响，标定的结果可能存在较大的误差，基于最小二乘原理，以最小化点重投影误差的方法剔除不符合精度要求的图像对，使得重投影误差小于0.5，图像对数量大致在15对左右。
S104，获取每个摄像头模块的内、外参数，畸变参数，和两个摄像头之间的结构参数，包括旋转矩阵和平移向量。
上述得到的各个参数就包含了摄像头模块自身和摄像头模块之间的所有几何、光学、结构和位置参数等数据。
S2，图像采集，并进行灰度处理、畸变矫正和立体校正，获取无畸变和共面行对准的左、右两幅灰度图像。
畸变矫正是指：消除摄像头模块在成像过程中产生的非线性误差。
立体校正的目的就是：把实际中消除畸变后的非共面行对准的两幅图像，校正成共面行对准。
共面行对准是指：两摄像机图像平面在同一平面上，且同一点投影到两个摄像机图像平面中的两个像素坐标系同一行。
S201，将左、右两幅3通道的RGB图像转化为两幅单通道的灰度图像。
采用加权平均法，将彩色图像的R、G、B三分量以不同的权重进行加权平均，公式如下：
Gray＝0.299R+0.587G+0.114B
其中，R,G,B分别彩色图像三个通道的像素亮度值，Gray为灰度图像的像素灰度值。
S202，用相机标定得到的畸变参数分别对两幅灰度图像进行畸变矫正，获取无径向畸变的左、右两幅灰度图像。
在此，主要考虑径向畸变的矫正，按照径向畸变的数学模型进行像素坐标的重映射：
Figure BDA0002593630970000091
其中，(x,y)和
Figure BDA0002593630970000092
分别是理想小孔摄像机模型下的(无畸变的)和真实的(有畸变的)图像物理坐标，r2＝x2+y2，ki(i＝1,2,3,…)为径向畸变系数。
S203，用相机标定得到的内参矩阵和立体标定得到摄像头模块之间的结构参数(旋转矩阵和平移向量)分别对两幅灰度图像进行立体校正，获取共面行对准的左、右两幅灰度图像。
根据摄像头标定得到的内参矩阵和立体标定得到摄像头模块之间的结构参数(旋转矩阵和平移向量)分别对左、右两幅图像行对准，使得左、右两幅图像的成像原点坐标一致、两摄像头模块光轴平行、左右成像平面共面、极线行对齐。
上述处理可以将实际双目系统近似转换为理想平行双目模型。
S3，对左、右两幅灰度图像进行预处理，获取目标区域高亮显示的左、右两幅二值图像。
图像的预处理是指图像分割，将目标区域像素和背景像素分割开来。
S301，对左、右两幅灰度图像进行阈值分割，此处阈值选择为250，高亮目标区域，并滤除一些较亮的环境噪声点。
预设分割阈值是根据实际场景的目标区域灰度值而设定的。
S302，对左、右两幅灰度图像进行腐蚀运算，消除一些小且无意义的噪声点。
使用参考点位于中心的5×5的核对左、右两幅灰度图像进行腐蚀运算，消除物体的边界点，包括无意义的区域和有意义目标区域的杂散边界点。
S303，对左、右两幅灰度图像进行膨胀运算，填补目标区域中的一些空像素点。
使用参考点位于中心的5×5的核对左、右两幅灰度图像进行膨胀运算，填补图像分割后物体的空洞。
上述处理能够去除孤立的小点、毛刺和小桥，而目标区域总的位置和形状保持不变。
S4，拟合外接矩形，且矩形的边分别平行于图像的行和列，并提取左图像目标区域的亚像素质心坐标、面积和外接矩形的边长，形成形状描述子。
多边形近似，就是用多边形来近似地代替边界的方法。由于使用矩形的边用线性关系来表示图像轮廓，所以图像间的匹配计算问题变得简单，便于得到一个近似值，表征图像特征间的相似度。具有比较好的抗噪声干扰能力。在实际应用中，多边形近似的目的是在一定的误差允许范围内，用最少的线段来表示轮廓曲线，在充分表达轮廓的本质形状的同时，尽可能减少后期图像匹配的计算量。本发明根据实际测试数据，选用矩形作为拟合多边形，且矩形的边分别平行于图像的行和列。
形状描述方法，就是对目标物体的边缘特征进行描述的方法。首先，获取图像的轮廓信息，即形状轮廓上的像素点，通过对这些像素点及像素间的特征进行描述，得到形状描述子。
S401，对左二值图像的高亮目标区域拟合外接矩形，其中矩形的边分别平行于图像的行和列。
对当前目标区域计算最大的umax,vmax值和最小的umin,vmin值，然后就可以绘制一个目标区域的直边外接矩形。
S402，对每个高亮目标区域运用计算几何距算法得到质心的亚像素坐标。
首先，计算高亮目标区域的零阶矩，公式如下：
Figure BDA0002593630970000111
其中，M00为图像目标连通区域的零阶矩，i,j分别表示像素的行、列坐标，I(i,j)是第i行j列像素的灰度值。
其次，计算高亮目标区域的一阶矩，公式如下：
Figure BDA0002593630970000112
其中，M10,M01为图像目标连通区域的一阶矩。
然后，计算图像中高亮目标区域的质心坐标(xc,yc)，计算公式如下：
Figure BDA0002593630970000113
S403，提取左图像目标区域的亚像素质心坐标、面积和外接矩形的边长作为左形状描述子。
统计目标边界以及边界内部的像素的数目，即面积S，和外接矩形的边长X,Y，并将其与质心坐标存放于列向量作为左形状描述子dl：
dl＝[xc yx S X Y]T
上述处理，已经将左图像中的高亮目标区域的形状特征提取并且进行了描述，可以用于左、右两幅图像之间特征的立体匹配。
S5，在右图像中，基于极线约束进行特征提取、描述和立体匹配，计算目标在相机坐标系下的三空间坐标。
所述极线约束，在双目视觉系统中，左图像上一点p在右图像上的投影一定出现在一条直线上，沿着这条直线可以直接进行特征提取、描述和立体匹配，此直线被称为点p的极线。
S501，以左形状描述子的行为基准，在右图像中查找这个行附近的高亮目标区域，并进行和左图像同样的特征提取和体征描述。
根据左形状描述子dl＝[xc yx S X Y]T，在右图像的极线上，也就是第yc行的附近，查找高亮目标区域，并且对这些高亮的目标区域进行特征提取和描述，由此得到：
dr1,dr2,…,drn
其中，dri＝[xi yi Si Xi Yi]T,i＝1,2,…,n为极线上所有高亮连通目标区域的形状描述子。
S502，以3D欧几里德距离作为匹配准则计算匹配代价，选择代价最小的特征进行立体匹配。
匹配代价函数为：
Figure BDA0002593630970000121
则，互相匹配的共轭特征对为：dl和
Figure BDA0002593630970000122
S503，用奇异值分解法解超定方程组的最小二乘解，得到目标在相机坐标系下的三维空间坐标。
根据匹配共轭特征对建立超定方程组，对于左、右摄像头模块分别有：
Figure BDA0002593630970000123
Figure BDA0002593630970000131
其中，(u1,v1),(u2,v2)为已知左、右两个像平面坐标系下的像素点坐标，
Figure BDA0002593630970000132
分别为相机标定和立体标定得到的摄像机模块的几何、光学和结构参数，Zc1,Zc2分别为目标在左、右相机坐标系下的尺度因子，(Xc,Yc,Zc)为目标在左相机坐标系下的三维坐标。
将以上两式展开，并消去Zc1,Zc2得：
Figure BDA0002593630970000133
Figure BDA0002593630970000134
Figure BDA0002593630970000135
Figure BDA0002593630970000136
写成矩阵形式为：
Ax＝b
其中，
Figure BDA0002593630970000137
x＝(Xc Yc Zc)T，
Figure BDA0002593630970000138
然后，用奇异值分解方法得到矩阵A的广义逆A+。
所以，目标在左相机坐标系下的三维坐标为：x＝A+b。
S6，刚体变换估计，进行坐标系转换，基于ICP原理点云配准，计算目标在世界坐标系下的三维空间坐标。
所谓坐标系变换，即一组目标点集在左相机坐标系下的坐标矩阵为：
Figure BDA0002593630970000141
测量记录的这一组目标点集在设定的世界坐标系下的坐标矩阵为：
Figure BDA0002593630970000142
A,B是两组R3空间中的对应点集。现在要根据这两个点集的数据计算它们之间的刚性变换信息。这是一个最小二乘求优问题，可用下式描述：
Figure BDA0002593630970000143
其中，wi＞0是点集中每个点对的权重。求上式中的最小值，即求式中对R和t求导数为0的解。
当求解出相机坐标系和世界坐标系之间的刚体变换参数R和t后，根据S5得到的像极坐标系下的坐标x，就可以计算目标在世界坐标系下的坐标，可以表示为：
y＝Rx+t
S601，采集15个点位于相机坐标系下和世界坐标系下的坐标。
原始点集的采集采用随机采样方法，在空间中随机移动目标，并记录15个点对分别为：
Figure BDA0002593630970000144
和
Figure BDA0002593630970000145
S602，通过最小化三维点对间的3D欧几里德距离估计刚体变换参数，包括旋转矩阵和平移向量。
随机挑选其中10个点对计算旋转矩阵R和平移向量t，使得A,B之间的误差函数最小，其中误差函数为2组坐标对之间的平均距离：
Figure BDA0002593630970000146
本发明还公开了一种基于形状描述子的电焊焊点双目视觉定位装置，如图9-11所示，包括两片衰减片4、两个摄像头模块1、摄像头模块电路板5、USB数据接口3、双摄像头外壳2和计算机，其中：
两片衰减片4，分别安装在两个摄像头模块1的镜头前端，用于滤除背景噪声，增强信噪比；
两块摄像头模块电路板5，用于安装并连接摄像头模块1和USB数据接口3；
两个摄像头模块1，安装在双摄像头外壳2内部，构成平行双目视觉系统，用于图像采集，其中基线距离为20cm；
双摄像头外壳2，用于摄像头模块1的安装和固定；
USB数据接口3，用于摄像头模块1与计算机之间的图像传输；
计算机，用于图像处理、特征提取、形状特征描述、立体匹配等计算电焊在焊接过程中的焊点的实时空间位置。
其中，两个摄像头模块1型号为MSK R4231，焦距为3.6mm，视场范围水平90°，垂直47°，图像分辨率为640×480。
以上仅为本发明的较佳实施例，并非用来限定本发明的实施范围；如果不脱离本发明的精神和范围，对本发明进行修改或者等同替换，均应涵盖在本发明权利要求的保护范围当中。

Claims (9)

1.一种基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，包括步骤：
S1，相机标定，获取每个摄像头模块的内外参数和双摄像头模块之间的结构参数；
S2,图像采集，并进行畸变矫正和立体校正，获取无畸变和共面行对准的左、右两幅灰度图像；
S3，图像预处理，包括阈值分割、腐蚀和膨胀运算，获取目标区域高亮显示的左、右两幅二值图像；
S4，拟合外接矩形，且矩形的边分别平行于图像的行和列，并提取左图像目标区域的像素质心坐标、外接矩形的边长和面积，形成左形状描述子；
S5，在右图像中，基于极线约束进行形状特征的立体匹配，计算目标在相机坐标系下的三维空间坐标；
S6，刚体变换估计，基于ICP原理进行点云配准，计算目标在世界坐标系下的三维空间坐标。
2.根据权利要求1所述的一种基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S1中，对两个摄像头模块进行标定，获取每个摄像头模块的内、外参数和双摄像头模块之间的结构参数的步骤包括：
S101，两个摄像头模块同时拍摄棋盘格标定板位于不同位置的左、右图像；
S102，利用Matlab进行相机标定和立体标定；
S103，根据重投影误差剔除误差较大的左、右图像对；
S104，获取每个摄像头模块的内、外参数，畸变参数，和两个摄像头之间的结构参数，包括旋转矩阵和平移向量。
3.根据权利要求1所述的一种基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S2中，图像采集，并进行灰度处理、畸变矫正和立体校正，获取无畸变和共面行对准的左、右两幅灰度图像的具体方法包括：
S201，将左、右两幅3通道的RGB图像转化为两幅单通道的灰度图像；
S202，用相机标定得到的畸变参数分别对两幅灰度图像进行畸变矫正，获取无径向畸变的左、右两幅灰度图像；
S203，用相机标定得到的内参矩阵和立体标定得到摄像头模块之间的结构参数分别对两幅灰度图像进行立体校正，获取共面行对准的左、右两幅灰度图像；所述结构参数包括旋转矩阵和平移向量。
4.根据权利要求1所述的一种基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S3中，对左、右两幅灰度图像进行预处理，获取目标区域高亮显示的左、右两幅二值图像的具体方法包括：
S301，对对左、右两幅灰度图像进行阈值分割，此处阈值选择为250，高亮目标区域，并滤除一些较亮的环境噪声点；
S302，对左、右两幅灰度图像进行腐蚀运算，消除一些小且无意义的噪声点；
S303，对左、右两幅灰度图像进行膨胀运算，填补目标区域中的一些空像素点。
5.根据权利要求1所述的一种基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S4中，拟合外接矩形，且矩形的边分别平行于图像的行和列，并提取左图像目标区域的亚像素质心坐标、面积和外接矩形的边长，形成形状描述子的具体方法包括：
S401，对左二值图像的高亮目标区域拟合外接矩形，其中矩形的边分别平行于图像的行和列；
S402，对每个高亮目标区域运用计算几何距算法得到质心的亚像素坐标；
S403，提取左图像目标区域的亚像素质心坐标、面积和外接矩形的边长作为左形状描述子。
6.根据权利要求1所述的一种基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S5中，在右图像中，基于极线约束进行特征提取、描述和立体匹配，计算目标在相机坐标系下的三维空间坐标的具体方法包括：
S501，以左形状描述子的行为基准，在右图像中查找这个行附近的高亮目标区域，并进行和左图像同样的特征提取和体征描述；
S502，以3D欧几里德距离作为匹配准则计算匹配代价，选择代价最小的特征进行立体匹配；
S503，用奇异值分解法解超定方程组的最小二乘解，得到目标在相机坐标系下的三维空间坐标。
7.根据权利要求1所述的一种基于形状描述子的电焊焊点双目视觉定位方法，其特征在于，步骤S6中，刚体变换估计，进行坐标系转换，基于ICP原理点云配准，计算目标在世界坐标系下的三维空间坐标的具体方法包括：
S601，采集15个点位于相机坐标系下和世界坐标系下的坐标；
S602，通过最小化三维点对间的3D欧几里德距离估计刚体变换参数，包括旋转矩阵和平移向量。
8.一种基于形状描述子的电焊焊点双目视觉定位装置，其特征在于，包括两片衰减片、两个摄像头模块、摄像头模块电路板、USB数据接口、双摄像头外壳和计算机，其中：
两片所述衰减片分别安装在两个所述摄像头模块的镜头前端，用于滤除背景噪声，增强信噪比；
两块所述摄像头模块电路板，用于安装并连接所述摄像头模块和USB数据接口；
两个所述摄像头模块，安装在双摄像头外壳内部，构成平行双目视觉系统，用于图像采集，其中基线距离为20cm；
所述双摄像头外壳，用于摄像头模块的安装和固定；
所述USB数据接口，用于摄像头模块与计算机之间的图像传输；
所述计算机，用于计算电焊在焊接过程中的焊点的实时空间位置。
9.根据权利要求8所述的一种基于形状描述子的电焊焊点双目视觉定位装置，其特征在于，两个所述摄像头模块型号为MSK R4231，焦距为3.6mm，视场范围水平90°，垂直47°，图像分辨率为640×480。
CN202010703156.1A 2020-07-21 2020-07-21 一种基于形状描述子的电焊焊点双目视觉定位方法及装置 Pending CN111862193A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010703156.1A CN111862193A (zh) 2020-07-21 2020-07-21 一种基于形状描述子的电焊焊点双目视觉定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010703156.1A CN111862193A (zh) 2020-07-21 2020-07-21 一种基于形状描述子的电焊焊点双目视觉定位方法及装置

Publications (1)

Publication Number Publication Date
CN111862193A true CN111862193A (zh) 2020-10-30

Family

ID=73001245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010703156.1A Pending CN111862193A (zh) 2020-07-21 2020-07-21 一种基于形状描述子的电焊焊点双目视觉定位方法及装置

Country Status (1)

Country Link
CN (1) CN111862193A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189381A (zh) * 2019-05-30 2019-08-30 北京眸视科技有限公司 外参数标定系统、方法、终端及可读存储介质
CN112633060A (zh) * 2020-11-18 2021-04-09 合肥中科贝伦科技有限公司 一种基于泡沫细水雾涡扇炮自动瞄准系统的火源定位算法
CN113313759A (zh) * 2021-05-31 2021-08-27 华南理工大学 基于双目视觉的焊点定位方法、系统、装置、设备和介质
CN117170093A (zh) * 2023-11-03 2023-12-05 山东创瑞激光科技有限公司 一种面式扫描的光路系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN106056603A (zh) * 2016-05-30 2016-10-26 吉林大学 基于立体视觉的焊接执行参数在线检测方法
US20190096080A1 (en) * 2017-08-25 2019-03-28 Maker Trading Pte Ltd Machine vision system and method for identifying locations of target elements
CN110560443A (zh) * 2019-09-26 2019-12-13 太仓光电技术研究所 一种基于双目视觉的自动焊烟捕集装置及捕集方法
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN110675442A (zh) * 2019-09-23 2020-01-10 的卢技术有限公司 一种结合目标识别技术的局部立体匹配方法及系统
CN111207693A (zh) * 2020-01-10 2020-05-29 西安交通大学 一种基于双目结构光的涡轮叶片陶瓷型芯的三维测量方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN106056603A (zh) * 2016-05-30 2016-10-26 吉林大学 基于立体视觉的焊接执行参数在线检测方法
US20190096080A1 (en) * 2017-08-25 2019-03-28 Maker Trading Pte Ltd Machine vision system and method for identifying locations of target elements
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN110675442A (zh) * 2019-09-23 2020-01-10 的卢技术有限公司 一种结合目标识别技术的局部立体匹配方法及系统
CN110560443A (zh) * 2019-09-26 2019-12-13 太仓光电技术研究所 一种基于双目视觉的自动焊烟捕集装置及捕集方法
CN111207693A (zh) * 2020-01-10 2020-05-29 西安交通大学 一种基于双目结构光的涡轮叶片陶瓷型芯的三维测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
付双全;彭参镇;刘稳;: "基于机器视觉的自动定位系统设计与实现", 电子设计工程, no. 07 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189381A (zh) * 2019-05-30 2019-08-30 北京眸视科技有限公司 外参数标定系统、方法、终端及可读存储介质
CN112633060A (zh) * 2020-11-18 2021-04-09 合肥中科贝伦科技有限公司 一种基于泡沫细水雾涡扇炮自动瞄准系统的火源定位算法
CN113313759A (zh) * 2021-05-31 2021-08-27 华南理工大学 基于双目视觉的焊点定位方法、系统、装置、设备和介质
CN113313759B (zh) * 2021-05-31 2023-02-14 华南理工大学 基于双目视觉的焊点定位方法、系统、装置、设备和介质
CN117170093A (zh) * 2023-11-03 2023-12-05 山东创瑞激光科技有限公司 一种面式扫描的光路系统
CN117170093B (zh) * 2023-11-03 2024-01-09 山东创瑞激光科技有限公司 一种面式扫描的光路系统

Similar Documents

Publication Publication Date Title
CN111862193A (zh) 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
CN109146980B (zh) 基于单目视觉的优化的深度提取和被动测距方法
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN109035320B (zh) 基于单目视觉的深度提取方法
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
CN107886547B (zh) 一种鱼眼相机标定方法及系统
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及系统
CN105894499A (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
CN112902874B (zh) 图像采集装置及方法、图像处理方法及装置、图像处理系统
CN113744351B (zh) 基于多介质折射成像的水下结构光测量标定方法及系统
KR101589167B1 (ko) 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법
CN107729893A (zh) 一种合模机的视觉定位方法、系统和存储介质
CA3233222A1 (en) Method, apparatus and device for photogrammetry, and storage medium
CN116740187A (zh) 一种无重叠视场多相机联合标定方法
CN113310433A (zh) 基于线结构光的虚拟双目立体视觉测量方法
CN113610929B (zh) 一种相机与多线激光的联合标定方法
CN111260736B (zh) 一种空间相机内参在轨实时标定方法
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法
CN112446926A (zh) 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置
CN117419641A (zh) 基于声学相机和深度相机的原木检尺方法及相关设备
CN110136248B (zh) 一种基于双目立体视觉的变速器壳体三维重建装置及方法
CN117073579A (zh) 基于条纹投影结构光双目三维测量系统与方法
CN115239801B (zh) 一种对象定位方法及装置
Tehrani et al. A new approach to 3D modeling using structured light pattern
Tran et al. Extrinsic calibration of a camera and structured multi-line light using a rectangle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination