CN114140541B - 一种多线结构光焊缝跟踪传感器的参数标定方法 - Google Patents

一种多线结构光焊缝跟踪传感器的参数标定方法 Download PDF

Info

Publication number
CN114140541B
CN114140541B CN202111488547.7A CN202111488547A CN114140541B CN 114140541 B CN114140541 B CN 114140541B CN 202111488547 A CN202111488547 A CN 202111488547A CN 114140541 B CN114140541 B CN 114140541B
Authority
CN
China
Prior art keywords
matrix
structured light
camera
calibration plate
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111488547.7A
Other languages
English (en)
Other versions
CN114140541A (zh
Inventor
李瑞峰
王珂
秦中昊
赵立军
葛连正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202111488547.7A priority Critical patent/CN114140541B/zh
Publication of CN114140541A publication Critical patent/CN114140541A/zh
Application granted granted Critical
Publication of CN114140541B publication Critical patent/CN114140541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种多线结构光焊缝跟踪传感器的参数标定方法，涉及仪器或设备校准领域。解决了现有机器人的焊缝跟踪传感器中相机和激光器安装位置参数无法准确标定，影响测量结果的问题。它调整焊缝跟踪传感器与棋盘格标定板之间的位置关系，获取n组标定图像；每组标定图像均包括一个带有结构光的棋盘格标定板图像和一个不带有结构光的棋盘格标定板图像；计算出相机的内参矩阵和外参矩阵；求解采样点的空间坐标；利用所述采样点的空间坐标，建立迭代模型求解激光器内参与外参矩阵,实现对多线结构光焊缝跟踪传感器的参数标定。本发明适用于多线结构光焊缝跟踪传感器的参数标定。

Description

一种多线结构光焊缝跟踪传感器的参数标定方法
技术领域
本发明涉及仪器或设备校准领域。
背景技术
焊缝跟踪传感器由多线激光器和相机组成，传感器在组装阶段，去确定相机的成像模型、激光器的结构光模型、激光器和相机的相对位置关系是很重要的。相机和拍摄物体的相对位置关系由一个矩阵表示，是相机的外参，是未知量。相机的成像模型由另外一个矩阵表示，是相机内参，是未知量；结构光模型通过激光面之间的夹角表示，是激光器内参，通常激光器出厂时已经给出此参数的理论值，但实际值存在微小偏差，所以我们仍然认为其是未知量。激光器和相机的位置关系，通过一个位姿变换矩阵表示，它是激光器外参，并且不易直接测量，也是未知量。如果传感器在组装阶段，不能确定上述内参和外参，传感器后续数据处理的准确性将产生不可预测的影响。
现有焊缝跟踪传感器的各个装配零件按照设计的位置安装，但由于安装误差的存在,不能保证激光器和相机的安装位置准确标定。
发明内容
本发明目的是为了解决现有机器人的焊缝跟踪传感器中相机和激光器安装位置参数无法准确标定，影响测量结果的问题，提出了一种多线结构光焊缝跟踪传感器的参数标定方法。
本发明所述的一种多线结构光焊缝跟踪传感器的参数标定方法，包括：
步骤一、初始化多线结构光焊缝跟踪传感器，使激光器的多条结构光平行于摄像机拍摄边框的上下边，且使多条结构光位于拍摄图像中间；
步骤二、调整焊缝跟踪传感器与棋盘格标定板之间的位置关系，获取n组标定图像；每组标定图像均包括一个带有结构光的棋盘格标定板图像和一个不带有结构光的棋盘格标定板图像；其中，n为大于或等于2的整数；
步骤三、利用张氏标定法对不带有结构光的棋盘格标定板图像进行标定，计算出相机的内参矩阵和外参矩阵；
步骤四、在带有结构光的棋盘格标定板图像中的结构光线上进行采样，并利用相机的内参矩阵和外参矩阵，求解采样点的空间坐标；
步骤五、利用所述采样点的空间坐标建立迭代模型，利用迭代模型求解激光器内参与外参矩阵,实现对多线结构光焊缝跟踪传感器的参数标定。
进一步地，本发明中，步骤二中，调整焊缝跟踪传感器与棋盘格标定板之间的位置关系，获取n组标定图像的具体方法为：
步骤二一、调整焊缝跟踪传感器与棋盘格标定板之间的距离，使棋盘格标定板整体位于相机拍摄图像内,打开激光器，控制相机拍摄带有结构光的棋盘格标定板图像，获取一张带有结构光的棋盘格标定板图像；
步骤二二、关闭激光器，控制相机拍摄不带有结构光的棋盘格标定板图像；获取一张不带有结构光的棋盘格标定板图像；将带有结构光的棋盘格标定板图像和不带有结构光的棋盘格标定板图像作为一组标定图像；
步骤二三、调整焊缝跟踪传感器的位姿，返回执行步骤二一，直至获取n组标定图像。
进一步地，本发明中，步骤三、利用张氏标定法对不带有结构光的棋盘格标定板图像进行标定，计算出相机的内参矩阵和外参矩阵的具体方法为：
选取n组标定图像中不带有结构光的棋盘格标定板图像使用张氏标定法进行标定，计算相机的内参矩阵和每张图像对应的外参矩阵；
所述相机的内参矩阵为：
其中，kx和ky为不带有结构光的棋盘格标定板图像中x轴和y轴的比例系数，u0和v0为相机原点在不带有结构光的棋盘格标定板图像x轴和y轴上的坐标；
相机的外参矩阵为：
其中，为三行三列的空间旋转矩阵,表示相机与棋盘格标定板的姿态旋转关系，tc为三行一列的空间平移矩阵，表示相机与棋盘格标定板在空间三个维度上的距离。
进一步地，本发明中，步骤四中，在带有结构光的棋盘格标定板图像中结构光线上进行采样，并求解采样点空间坐标的具体方法为：
步骤四一、根据相机内参矩阵和外参矩阵，建立图像坐标系到相机坐标系的转换方程；
步骤四二、在带有结构光的棋盘格标定板图像中的结构光线上进行采样，利用所述转换方程，求解采样点的空间坐标。
进一步地，本发明中，步骤四二中，求解所述采样点的空间坐标的方法为：
步骤四二一、提取n组标定图像中带有结构光的棋盘格标定板图像的三条结构光的所有光心坐标作为采样点；
步骤四二二、将所述采样点代入图像坐标系到相机坐标系的转换方程，获得所有采样点的空间坐标。
进一步地，本发明中，步骤四二二中，相机坐标系的转换方程为：
相机坐标系中z轴方向上的点与相机透镜中心的距离zc：
其中，u和v是分别表示点在图像坐标系中的横、纵坐标，其中px，py，pz分别为棋盘格标定板原点与相机透镜中心在x,y,z轴方向上的距离，ax、ay、az为空间旋转矩阵第三列的三个元素，代表棋盘格坐标系经过旋转后z轴在原坐标系x,y,z轴上的投影值；
相机坐标系中x轴方向上的点与相机透镜中心的距离xc：
相机坐标系中y轴方向上的点与相机透镜中心的距离yc：
进一步地，本发明中，建立迭代模型之前还包括建立激光面假设模型,并对假设模型点云化的过程,具体方法为：
步骤五一、建立3个激光面的假设模型；
所述3个激光面的假设模型的原点为已知空间的任意一点，假设模型原点与空间坐标系原点重合，令处于3个激光面正中间的激光面与空间坐标系x轴和z轴所形成的面重合，两侧激光面与中间激光面夹角均设为θ；
步骤五二、将3个激光面的假设模型点云化。
进一步地，步骤五中，建立迭代模型，利用迭代模型求解激光器内参与外参矩阵的具体过程为：
步骤A1、确定每个采样点在假设模型中的最小欧式距离点及所述最小欧式距离点坐标；将所述最小欧式距离点作为采样点在假设模型上对应的云点；
步骤A2、用平均法求所有采样点的质心及所有采样点在假设模型上对应的云点的质心；
步骤A3、根据奇异值分解算法，利用所有采样点的质心及所有采样点在假设模型上对应的云点的质心，计算最优旋转矩阵R和最优平移矩阵T；
步骤A4、利用最优旋转矩阵R和最优平移矩阵T对采样点坐标进行更新；
步骤A5、计算更新后的所有采样点与其在假设模型上对应的云点的距离平方的平均值返回执行A1，直至相邻两次迭代计算获得的平均值/>的差值小于或等于10-3，执行步骤A6；
步骤A6、利用该次迭代获得的最优旋转矩阵R和最优平移矩阵T更新位置变换关系矩阵trans，并将该次迭代获得的平均值记为d0执行步骤A7；所述位置变换关系矩阵trans为初始值设置为4行4列的单位矩阵；
步骤A7、利用平均值d0，采用随机梯度下降法更新两侧激光面与中间激光面夹角θ的值，返回执行步骤A1，直至相邻两次迭代获得的d0的差值小于10-4，执行步骤A8；
步骤A8、将当前迭代位置变换关系矩阵trans作为激光器外参矩阵，将两侧激光面与中间激光面夹角θ作为激光器的内参矩阵。
进一步地，本发明中，步骤A3中，计算获得最优旋转矩阵R和最优平移矩阵T的具体方法为：
最优旋转矩阵R：
R＝v*U′
其中，V表示原始域标准正交基，U表示共域标准正交基，U′为U的转置，利用奇异值分解算法：
[U,∑,V]＝(vd(tempP′*tempM)
计算原始域标准正交基V和共域标准正交基U，其中，(vd代表奇异值分解算法符号，tempP′为采样点坐标去中心化的结果，tempP与tempP′的转置互为转置，P′为采样点坐标矩阵P的转置，tempM为点云坐标去中心化的结果，tempP′*tempM得到一个m行n列的矩阵，U,∑,V是奇异值分解算法所得的结果，同时U,V满足酉矩阵的定义，其中，
tempM＝M-centerM，tempP＝P-centerP
其中，用平均法求得采样点质心为centerP，所有采样点对应的所有点云坐标的质心记为centerM，P为采样点坐标矩阵，M为点云坐标矩阵；
最优平移矩阵T：
T＝-R*centerP′+centerM′
其中，M′为M的转置，centerP′为centerP的转置，centerM′为centerM的转置。
进一步地,本发明中,步骤A4中，利用最优旋转矩阵R和最优平移矩阵T对采样点坐标进行更新的具体方法为：
P＝(R*P′+T)′
其中，上角′标注代表求转置。
本发明使用棋盘格作为标定工具，利用张氏标定法作为相机和激光器标定的基础，相比于不使用棋盘格或使用其他标定工具，操作更方便，易实现。提出了结构光假设模型和迭代模型，通过所提出的方法能够实现复杂结构光尤其是三线结构光的内参与外参标定，并且标定过程是通过全局优化进行的，避免了标定结果出现局部最优的情况，其他发明的标定方法只适用于单线激光，无法基于全局优化进行多线激光的标定。
附图说明
图1是多线结构光焊缝跟踪传感器结构示意图；
图2是变换不同位姿获取图像示意图；
图3是结构光假设模型示意图；
图4是采样点和点云示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
具体实施方式一：下面结合图1至图4说明本实施方式，本实施方式所述一种多线结构光焊缝跟踪传感器的参数标定方法，包括：
步骤一、初始化多线结构光焊缝跟踪传感器，使激光器的多条结构光平行于摄像机拍摄边框的上下边，且使多条结构光位于拍摄图像中间；
步骤二、调整焊缝跟踪传感器与棋盘格标定板之间的位置关系，获取n组标定图像；每组标定图像均包括一个带有结构光的棋盘格标定板图像和一个不带有结构光的棋盘格标定板图像；其中，n为大于或等于2的整数；
步骤三、利用张氏标定法对不带有结构光的棋盘格标定板图像进行标定，计算出相机的内参矩阵和外参矩阵；
步骤四、在带有结构光的棋盘格标定板图像中的结构光线上进行采样，并利用相机的内参矩阵和外参矩阵，求解采样点的空间坐标；
步骤五、利用所述采样点的空间坐标建立迭代模型，利用迭代模型求解激光器内参与外参矩阵,实现对多线结构光焊缝跟踪传感器的参数标定。
进一步地，本发明中，步骤二中，调整焊缝跟踪传感器与棋盘格标定板之间的位置关系，获取n组标定图像的具体方法为：
步骤二一、调整焊缝跟踪传感器与棋盘格标定板之间的距离，使棋盘格标定板整体位于相机拍摄图像内,打开激光器，控制相机拍摄带有结构光的棋盘格标定板图像，获取一张带有结构光的棋盘格标定板图像
步骤二二、关闭激光器，控制相机拍摄不带有结构光的棋盘格标定板图像；获取一张不带有结构光的棋盘格标定板图像；将带有结构光的棋盘格标定板图像和不带有结构光的棋盘格标定板图像作为一组标定图像；
步骤二三、调整焊缝跟踪传感器的位姿，返回执行步骤二一，直至获取n组标定图像。
本实施方式中，优先地，n＝24。
本实施方式中，传感器由相机和多线激光器组成，多线激光器通过一个点光源发射激光，经过特殊栅格透镜，点光源形成三个激光面射出，当该激光器照射到垂直于激光器的平面时，形成三条平行线，也称为结构光，该图形为中心对称图形。
焊接过程中传感器距离目标平面的高度应设定好，这里以250mm为例，将传感器固定在工业机械臂末端，通过示教器操作机械臂使传感器底部移动至工作平台上方250mm，准备棋盘格标定板，放置在传感器下方。连接相机和上位机，观察相机获取的实时图像，调整相机焦距旋钮，直至图像到达最清晰的状态，并锁死焦距旋钮。
打开激光器，调整激光器位置，使三条结构光平行于图像上下边，并且位于图像正中间。
进一步地，本发明中，步骤三、利用张氏标定法对不带有结构光的棋盘格标定板图像进行标定，计算出相机的内参矩阵和外参矩阵的具体方法为：
选取n组标定图像中不带有结构光的棋盘格标定板图像使用张氏标定法进行标定，计算相机的内参矩阵和每张图像对应的外参矩阵；
所述相机的内参矩阵为：
其中，kx和ky为不带有结构光的棋盘格标定板图像中x轴和y轴的比例系数，u0和v0为相机原点在不带有结构光的棋盘格标定板图像x轴和y轴上的坐标；
相机的外参矩阵为：
其中，为三行三列的空间旋转矩阵,表示相机与棋盘格标定板的姿态旋转关系，tC为三行一列的空间平移矩阵，表示相机与棋盘格标定板在空间三个维度上的距离。
进一步地，本发明中，步骤四中，在带有结构光的棋盘格标定板图像中结构光线上进行采样，并求解采样点空间坐标的具体方法为：
步骤四一、根据相机内参矩阵和外参矩阵，建立图像坐标系到相机坐标系的转换方程；
步骤四二、在带有结构光的棋盘格标定板图像中的结构光线上进行采样，利用所述转换方程，求解采样点的空间坐标。
本实施方式中，结构光为：一条结构光在垂直于直线的方向上通常表现为中间亮度高，两侧亮度低，亮度最大的位置称为结构光光心，在图像坐标系中，每条结构光能够提取出一系列光心坐标。这里因为标定板有厚度，射在标定板以外的结构光提供的信息不准确，我们只需要采样射在标定板上的结构光。
选择24组图像中带有结构光的第一张图像，图像中有三条结构光，获取第一条结构光的一系列光心坐标，并带入所述坐标转换方程中，计算它们在相机坐标系中对应的一系列空间坐标，记为L1-1；同理，计算第二、三条结构光光心分别对应的一系列空间坐标，分别记为L1-2、L1-3。选择24组图像中带有结构光的第二张图像，重复上述操作，得到的一系列空间坐标记为L2-1，L2-2,L2-3，以此类推直至获得L24-1，L24-2,L24-3。共提取出72组采样点坐标。
进一步地，本发明中，步骤四二中，求解所述采样点的空间坐标的方法为：
步骤四二一、提取n组标定图像中带有结构光的棋盘格标定板图像的三条结构光的所有光心坐标作为采样点；
步骤四二二、将所述采样点代入图像坐标系到相机坐标系的转换方程，获得所有采样点的空间坐标。
进一步地，本发明中，步骤四二二中，相机坐标系的转换方程为：
相机坐标系中z轴方向上的点与相机透镜中心的距离zc：
其中，u和v是分别表示点在图像坐标系中的横、纵坐标，其中px，py，pz分别为棋盘格标定板原点与相机透镜中心在x,y,z轴方向上的距离，ax、ay、az为空间旋转矩阵第三列的三个元素，代表棋盘格坐标系经过旋转后z轴在原坐标系x,y,z轴上的投影值；
相机坐标系中x轴方向上的点与相机透镜中心的距离xc：
相机坐标系中y轴方向上的点与相机透镜中心的距离yc：
本实施方式中，步骤四二二中，还包括：对采样点的空间坐标异常点剔除的步骤；
具体为：将所有采样点的空间坐标绘制在空间坐标系中，并判断所有采样点的空间坐标是否近似位于同一平面内，若存在不在所述平面上的点，则将不在所述平面上的点对应的采样点及其对应的空间坐标删除。
本实施方式中，还包括检查采样点坐标的正确性的步骤，为了防止先前步骤存在误操作的情况，而导致采样点存在错误，需要检查得到的采样点坐标的正确性。在将72组采样点坐标绘制在空间坐标系中，空间位置上应该明显地分成三类，每类坐标点的所有或绝大多数点近似构成一个平面，若有若干点明显属于该类，但又不在该类点的组成平面上，这些点属于错误点，例如L2-1被认为是错误点，则删除L2-1，同时删除L2-2和L2-3。
进一步地，本发明中，步骤五中，建立迭代模型之前还包括建立激光面假设模型,并对假设模型点云化的过程,具体方法为：
步骤五一、建立3个激光面的假设模型；
所述3个激光面的假设模型的原点为已知空间的任意一点，假设模型原点与空间坐标系原点重合，令处于3个激光面正中间的激光面与空间坐标系x轴和z轴所形成的面重合，两侧激光面与中间激光面夹角均设为θ；
步骤五二、将3个激光面的假设模型点云化。
本实施方式中，在3个激光面的假设模型上均匀采样，将3个激光面都转化为均匀且离散的点，实现3个激光面的假设模型点云化。
本发明中，步骤五二中，将3个激光面的假设模型点云化的具体过程为：
定义位置变换关系矩阵trans，trans初始值设置为4行4列的单位矩阵；采样点通过与位置变换关系矩阵trans进行数学运算，在3个激光面的假设模型上均匀采样，将3个激光面都转化为均匀且离散的点，实现3个激光面的假设模型点云化。所述点云是云点的集合。
进一步地，本实施方式中，步骤五中，建立迭代模型，利用迭代模型求解激光器内参与外参矩阵的具体过程为：
步骤A1、确定每个采样点在假设模型中的最小欧式距离点及所述最小欧式距离点坐标；将所述最小欧式距离点作为采样点在假设模型上对应的云点；
步骤A2、用平均法求所有采样点的质心及所有采样点在假设模型上对应的云点的质心；
步骤A3、根据奇异值分解算法，利用所有采样点的质心及所有采样点在假设模型上对应的云点的质心，计算最优旋转矩阵R和最优平移矩阵T；
步骤A4、利用最优旋转矩阵R和最优平移矩阵T对采样点坐标进行更新；
步骤A5、计算更新后的所有采样点与其在假设模型上对应的云点的距离平方的平均值返回执行A1，直至相邻两次迭代计算获得的平均值/>的差值小于或等于10-3，执行步骤A6；
步骤A6、利用该次迭代获得的最优旋转矩阵R和最优平移矩阵T更新位置变换关系矩阵trans，并将该次迭代获得的平均值记为d0执行步骤A7；所述位置变换关系矩阵trans为初始值设置为4行4列的单位矩阵；
步骤A7、利用平均值d0，采用随机梯度下降法更新两侧激光面与中间激光面夹角θ的值，返回执行步骤A1，直至相邻两次迭代获得的d0的差值小于10-4，执行步骤A8；
步骤A8、将当前迭代位置变换关系矩阵trans作为激光器外参矩阵，将两侧激光面与中间激光面夹角θ作为激光器的内参矩阵。
进一步地，本实施方式中，步骤A3中，计算获得最优旋转矩阵R和最优平移矩阵T的具体方法为：
最优旋转矩阵R：
R＝V*U′
其中，V表示原始域标准正交基，U表示共域标准正交基，U′为U的转置，利用奇异值分解算法：
[U,∑,V]＝svd(tempP′*tempM)
计算原始域标准正交基V和共域标准正交基U，其中，svd代表奇异值分解算法符号，tempP′为采样点坐标去中心化的结果，tempP与tempP′的转置互为转置，P′为采样点坐标矩阵P的转置，tempM为点云坐标去中心化的结果，tempP′*tempM得到一个m行n列的矩阵，U,∑,V是奇异值分解算法所得的结果，同时U,V满足酉矩阵的定义，其中，
tempM＝M-centerM，tempP＝P-centerP
其中，用平均法求得采样点质心为centerP，所有采样点对应的所有点云坐标的质心记为centerM，P为采样点坐标矩阵，M为点云坐标矩阵；
最优平移矩阵T：
T＝-R*centerP′+centerM′
其中，M′为M的转置，centerP′为centerP的转置，centerM′为centerM的转置。
进一步地,本实施方式中,步骤A4中，利用最优旋转矩阵R和最优平移矩阵T对采样点坐标进行更新的具体方法为：
P＝(R*P′+T)′
其中，上角′标注代表求转置。
本实施方式中，将建立迭代模型，利用迭代模型求解激光器内参与外参矩阵具体实施时，使用两级迭代策略，第一级为采样点与假设模型点云的临近点迭代，第二级为激光面夹角θ值的迭代。
定义变换矩阵trans，采样点通过与trans进行数学运算，变换到结构光假设模型上，trans为需要优化的参数，初始值设置为4行4列的单位矩阵。
将假设模型点云化。在当前的假设模型上均匀采样，将平面转化为点云。
a.寻找采样点和点云的最近对应点。针对每一个采样点，遍历所有点云，计算距离该采样点欧式距离最小的点云坐标，采样点坐标记为P，点云坐标记为M。
b.求采样点和点云的质心以及去中心化结果。用平均法求得采样点质心记为centerP，同时求得所有采样点对应的所有点云坐标的质心记为centerM,
tempM＝M-centerM，tempP＝P-centerP
其中tempM为点云坐标去中心化的结果,tempP为采样点坐标去中心化的结果。
c.求解最优旋转矩阵与最优平移矩阵R和T。
其中R通过如下方程求解:
R＝V*U′
其中符号′代表矩阵的转置，其中
[U,∑,V]＝svd(tempP′*tempM)
其中，svd代表奇异值分解算法(Singular Value Decomposition)，tempP′*tempM得到一个m行n列的矩阵。U,∑,V是奇异值分解算法所得的结果，分别U为m行m列的矩阵,∑为m行n列的矩阵,V为n行n列的矩阵，同时U,V满足酉矩阵的定义。
T通过如下方程求解：
T＝-R*centerP′+centerM′
d.更新采样点坐标，求新坐标和对应点云坐标的距离度量。所有采样点P通过如下方程，更新成为与点云更接近的新的坐标位置P。
P＝(R*P′+T)′
计算更新后的所有P与其对应的M的距离平方的平均值同时经过如下运算更新trans矩阵。
e.重复迭代a到d步骤，直至符合条件。观察逐渐变小的过程，直至/>在迭代过程中的变化量小于10-3，此时/>记为d0，停止迭代并记录d0和trans。
第二级迭代
第一级迭代得到结果d0，并采用随机梯度下降法更新θ的值，再次进入第一级迭代得到结果d0，并采用随机梯度下降法更新θ的值，重复该过程直至d0在迭代过程中的变化量小于10-4，停止迭代并记录trans。
最终得到的θ属于激光器的内参，反映了激光面夹角的度数，tran(属于激光器外参，反映了激光器与相机透镜中心的位置关系。
本发明建立了结构光假设模型和迭代模型，求解了激光器的内外参。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (7)

1.一种多线结构光焊缝跟踪传感器的参数标定方法，其特征在于，包括：
步骤一、初始化多线结构光焊缝跟踪传感器，使激光器的多条结构光平行于摄像机拍摄边框的上下边，且使多条结构光位于拍摄图像中间；
步骤二、调整焊缝跟踪传感器与棋盘格标定板之间的位置关系，获取n组标定图像；每组标定图像均包括一个带有结构光的棋盘格标定板图像和一个不带有结构光的棋盘格标定板图像；其中，n为大于或等于2的整数；
步骤三、利用张氏标定法对不带有结构光的棋盘格标定板图像进行标定，计算出相机的内参矩阵和外参矩阵；
步骤四、在带有结构光的棋盘格标定板图像中的结构光线上进行采样，并利用相机的内参矩阵和外参矩阵，求解采样点的空间坐标；
步骤五、利用所述采样点的空间坐标建立迭代模型，利用迭代模型求解激光器内参与外参矩阵,实现对多线结构光焊缝跟踪传感器的参数标定；
步骤五中，建立迭代模型之前还包括建立激光面假设模型,并对假设模型点云化的过程,具体方法为：
步骤五一、建立3个激光面的假设模型；
所述3个激光面的假设模型的原点为已知空间的任意一点，假设模型原点与空间坐标系原点重合，令处于3个激光面正中间的激光面与空间坐标系x轴和z轴所形成的面重合，两侧激光面与中间激光面夹角均设为θ；
步骤五二、将3个激光面的假设模型点云化；
步骤五中，建立迭代模型，利用迭代模型求解激光器内参与外参矩阵的具体过程为：
步骤A1、确定每个采样点在假设模型中的最小欧式距离点及所述最小欧式距离点坐标；将所述最小欧式距离点作为采样点在假设模型上对应的云点；
步骤A2、用平均法求所有采样点的质心及所有采样点在假设模型上对应的云点的质心；
步骤A3、根据奇异值分解算法，利用所有采样点的质心及所有采样点在假设模型上对应的云点的质心，计算最优旋转矩阵R和最优平移矩阵T；
步骤A4、利用最优旋转矩阵R和最优平移矩阵T对采样点坐标进行更新；
步骤A5、计算更新后的所有采样点与其在假设模型上对应的云点的距离平方的平均值返回执行A1，直至相邻两次迭代计算获得的平均值/>的差值小于或等于10-3，执行步骤A6；
步骤A6、利用该次迭代获得的最优旋转矩阵R和最优平移矩阵T更新位置变换关系矩阵trans，并将该次迭代获得的平均值记为d0执行步骤A7；所述位置变换关系矩阵trans为初始值设置为4行4列的单位矩阵；
步骤A7、利用平均值d0，采用随机梯度下降法更新两侧激光面与中间激光面夹角θ的值，返回执行步骤A1，直至相邻两次迭代获得的d0的差值小于10-4，执行步骤A8；
步骤A8、将当前迭代位置变换关系矩阵trans作为激光器外参矩阵，将两侧激光面与中间激光面夹角θ作为激光器的内参矩阵；
步骤A3中，计算获得最优旋转矩阵R和最优平移矩阵T的具体方法为：
最优旋转矩阵R：
R＝V*U'
其中，V表示原始域标准正交基，U表示共域标准正交基，U'为U的转置，利用奇异值分解算法：
[U,∑,V]＝svd(tempP′*tempM)
计算原始域标准正交基V和共域标准正交基U，其中，svd代表奇异值分解算法符号，tempP'为采样点坐标去中心化的结果，tempP与tempP'的转置互为转置，P'为采样点坐标矩阵P的转置，tempM为点云坐标去中心化的结果，tempP'*tempM得到一个m行n列的矩阵，U,∑,V是奇异值分解算法所得的结果，同时U,V满足酉矩阵的定义，其中，
tempM＝M-centerM，tempP＝P-centerP
其中，用平均法求得采样点质心为centerP，所有采样点对应的所有点云坐标的质心记为centerM，P为采样点坐标矩阵，M为点云坐标矩阵；
最优平移矩阵T：
T＝-R*centerP′+centerM'
其中，M'为M的转置，centerP'为centerP的转置，centerM'为centerM的转置。
2.根据权利要求1所述的一种多线结构光焊缝跟踪传感器的参数标定方法，其特征在于，步骤二中，调整焊缝跟踪传感器与棋盘格标定板之间的位置关系，获取n组标定图像的具体方法为：
步骤二一、调整焊缝跟踪传感器与棋盘格标定板之间的距离，使棋盘格标定板整体位于相机拍摄图像内,打开激光器，控制相机拍摄带有结构光的棋盘格标定板图像，获取一张带有结构光的棋盘格标定板图像；
步骤二二、关闭激光器，控制相机拍摄不带有结构光的棋盘格标定板图像；获取一张不带有结构光的棋盘格标定板图像；将带有结构光的棋盘格标定板图像和不带有结构光的棋盘格标定板图像作为一组标定图像；
步骤二三、调整焊缝跟踪传感器的位姿，返回执行步骤二一，直至获取n组标定图像。
3.根据权利要求1或2所述的一种多线结构光焊缝跟踪传感器的参数标定方法，其特征在于，步骤三、利用张氏标定法对不带有结构光的棋盘格标定板图像进行标定，计算出相机的内参矩阵和外参矩阵的具体方法为：
选取n组标定图像中不带有结构光的棋盘格标定板图像使用张氏标定法进行标定，计算相机的内参矩阵和每张图像对应的外参矩阵；
所述相机的内参矩阵为：
其中，kx和ky为不带有结构光的棋盘格标定板图像中x轴和y轴的比例系数，u0和v0为相机原点在不带有结构光的棋盘格标定板图像x轴和y轴上的坐标；
相机的外参矩阵为：
其中，为三行三列的空间旋转矩阵,表示相机与棋盘格标定板的姿态旋转关系，tC为三行一列的空间平移矩阵，表示相机与棋盘格标定板在空间三个维度上的距离。
4.根据权利要求3所述的一种多线结构光焊缝跟踪传感器的参数标定方法，其特征在于，步骤四中，在带有结构光的棋盘格标定板图像中结构光线上进行采样，并求解采样点空间坐标的具体方法为：
步骤四一、根据相机内参矩阵和外参矩阵，建立图像坐标系到相机坐标系的转换方程；
步骤四二、在带有结构光的棋盘格标定板图像中的结构光线上进行采样，利用所述转换方程，求解采样点的空间坐标。
5.根据权利要求4所述的一种多线结构光焊缝跟踪传感器的参数标定方法，其特征在于，步骤四二中，求解采样点的空间坐标的具体方法为：
步骤四二一、提取n组标定图像中带有结构光的棋盘格标定板图像的三条结构光的所有光心坐标作为采样点；
步骤四二二、将所述采样点代入图像坐标系到相机坐标系的转换方程，获得所有采样点的空间坐标。
6.根据权利要求4所述的一种多线结构光焊缝跟踪传感器的参数标定方法，其特征在于，步骤四二二中，相机坐标系的转换方程为：
相机坐标系中z轴方向上的点与相机透镜中心的距离zc：
其中，u和v是分别表示点在图像坐标系中的横、纵坐标，其中px，py，pz分别为棋盘格标定板原点与相机透镜中心在x,y,z轴方向上的距离，ax、ay、az为空间旋转矩阵第三列的三个元素，代表棋盘格坐标系经过旋转后z轴在原坐标系x,y,z轴上的投影值；
相机坐标系中x轴方向上的点与相机透镜中心的距离xc：
相机坐标系中y轴方向上的点与相机透镜中心的距离yc：
7.根据权利要求4所述的一种多线结构光焊缝跟踪传感器的参数标定方法，其特征在于，步骤A4中，利用最优旋转矩阵R和最优平移矩阵T对采样点坐标进行更新的具体方法为：
P＝(R*P'+T)'
其中，上角'标注代表求转置。
CN202111488547.7A 2021-12-07 2021-12-07 一种多线结构光焊缝跟踪传感器的参数标定方法 Active CN114140541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111488547.7A CN114140541B (zh) 2021-12-07 2021-12-07 一种多线结构光焊缝跟踪传感器的参数标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111488547.7A CN114140541B (zh) 2021-12-07 2021-12-07 一种多线结构光焊缝跟踪传感器的参数标定方法

Publications (2)

Publication Number Publication Date
CN114140541A CN114140541A (zh) 2022-03-04
CN114140541B true CN114140541B (zh) 2024-04-26

Family

ID=80384637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111488547.7A Active CN114140541B (zh) 2021-12-07 2021-12-07 一种多线结构光焊缝跟踪传感器的参数标定方法

Country Status (1)

Country Link
CN (1) CN114140541B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105716527A (zh) * 2016-04-18 2016-06-29 中国计量学院 激光焊缝跟踪传感器标定方法
CN109676243A (zh) * 2019-01-21 2019-04-26 苏州实创德光电科技有限公司 基于双线激光结构光的焊缝识别与跟踪系统及方法
CN109827607A (zh) * 2017-11-23 2019-05-31 清华大学 线结构光焊缝跟踪传感器的标定方法及装置
CN112116665A (zh) * 2020-09-15 2020-12-22 山东省科学院激光研究所 一种结构光传感器标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107121109B (zh) * 2017-06-12 2019-12-06 北京航空航天大学 一种基于前镀膜平面镜的结构光参数标定装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105716527A (zh) * 2016-04-18 2016-06-29 中国计量学院 激光焊缝跟踪传感器标定方法
CN109827607A (zh) * 2017-11-23 2019-05-31 清华大学 线结构光焊缝跟踪传感器的标定方法及装置
CN109676243A (zh) * 2019-01-21 2019-04-26 苏州实创德光电科技有限公司 基于双线激光结构光的焊缝识别与跟踪系统及方法
CN112116665A (zh) * 2020-09-15 2020-12-22 山东省科学院激光研究所 一种结构光传感器标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于统一球面投影机理的全景相机标定方法;王珂;李瑞峰;赵立军;;华中科技大学学报(自然科学版);20140110(第S1期);99-102 *

Also Published As

Publication number Publication date
CN114140541A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN109598762B (zh) 一种高精度双目相机标定方法
CN109754432B (zh) 一种相机自动标定方法及光学动作捕捉系统
CN110298888B (zh) 基于单轴高精度位移平台的相机标定方法
CN110136204B (zh) 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统
CN100376883C (zh) 一种基于像素频率的星敏感器校准方法
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN106323286B (zh) 一种机器人坐标系与三维测量坐标系的变换方法
CN110136068B (zh) 基于双侧远心镜头相机之间位置标定的音膜球顶装配系统
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
CN111899305A (zh) 一种相机自动标定优化方法及相关系统、设备
CN114463442A (zh) 一种非同轴相机的标定方法
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
CN115552486A (zh) 用于表征物体姿态检测和测量系统的系统和方法
JP2007533963A (ja) 物体の３ｄ位置の非接触式光学的測定方法及び測定装置
CN114310880A (zh) 一种机械臂标定方法及装置
CN114001651B (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
JP2007533963A5 (zh)
CN113610929B (zh) 一种相机与多线激光的联合标定方法
CN114140541B (zh) 一种多线结构光焊缝跟踪传感器的参数标定方法
CN116117800B (zh) 补偿高度差的机器视觉处理方法、电子设备及存储介质
CN116021519A (zh) 一种基于tof相机采摘机器人手眼标定方法以及装置
CN111595289A (zh) 一种基于图像处理的三维角度测量系统及方法
CN115205356B (zh) 一种基于双目立体视觉的实训平台快速调试方法
CN205120108U (zh) 一种基于摄像装置的精度补偿系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant