CN109990705A - 基于视觉的机器人末端测温枪坐标系标定方法及系统 - Google Patents

基于视觉的机器人末端测温枪坐标系标定方法及系统 Download PDF

Info

Publication number
CN109990705A
CN109990705A CN201910218318.XA CN201910218318A CN109990705A CN 109990705 A CN109990705 A CN 109990705A CN 201910218318 A CN201910218318 A CN 201910218318A CN 109990705 A CN109990705 A CN 109990705A
Authority
CN
China
Prior art keywords
temperature
measuring gun
coordinate system
axis
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910218318.XA
Other languages
English (en)
Other versions
CN109990705B (zh
Inventor
陈卫东
廖业国
王贺升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910218318.XA priority Critical patent/CN109990705B/zh
Publication of CN109990705A publication Critical patent/CN109990705A/zh
Application granted granted Critical
Publication of CN109990705B publication Critical patent/CN109990705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于视觉的机器人末端测温枪坐标系标定方法及系统，包括：通过多轴机器人将测温枪在相机视野内移动，使测温枪端面在相机视野内的不同位置成像，得到多个测温枪端面图像；记录多轴机器人末端的姿态，采集测温枪端面图像中测温枪端面的椭圆轮廓特征和直线特征；通过直线特征求取测温枪坐标系z轴的朝向，通过椭圆轮廓特征求取测温枪坐标系z轴的原点。本发明使用了非接触的传感器，使得标定过程更安全、快速、简单。通过标定发生形变的测温枪，使得接插装配任务得以完成。

Description

基于视觉的机器人末端测温枪坐标系标定方法及系统
技术领域
本发明涉及计算机及测量技术领域，具体地，涉及基于视觉的机器人末端测温枪坐标系标定方法及系统。
背景技术
在金属冶炼行业中，需要对液态金属进行温度测量。现有的技术中，可以使用一种圆柱状、一端开口、另一端封闭的探针进行液态金属的区域，如公开号为CN108072455A的专利公开的“一种用于液态金属的综合测温装置”。现有的技术中，可以使用一种圆柱状的测温枪，使其从探针开口一端插入与探针连接。可以使用多轴机器人带动测温枪对液态金属的取样。
在上述方案中，探针通常被放置在固定仓架上，其位置固定且已知。测温枪没有发生塑性形变时，其末端轴线与多轴机器人末端的轴线重合，可以方便地将其插入到探针中。测温枪常常具有弯曲等塑性形变，此时其末端轴线与多轴机器人末端轴线不重合，导致测温枪与探针无法对齐而装配失败。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于视觉的机器人末端测温枪坐标系标定方法及系统。
根据本发明提供的一种基于视觉的机器人末端测温枪坐标系标定方法，包括：
成像步骤：通过多轴机器人将测温枪在相机视野内移动，使测温枪端面在相机视野内的不同位置成像，得到多个测温枪端面图像；
特征采集步骤：记录多轴机器人末端的姿态，采集测温枪端面图像中测温枪端面的椭圆轮廓特征和直线特征；
坐标系标定步骤：通过直线特征求取测温枪坐标系z轴的朝向，通过椭圆轮廓特征求取测温枪坐标系z轴的原点。
较佳的，多轴机器人末端的末端坐标系到世界坐标系之间的坐标转换用变换矩阵表示，其中b表示世界坐标系，e表示末端坐标系；
测温枪坐标系与末端坐标系的坐标转换用变换矩阵表示，其中t表示测温枪坐标系，测温枪坐标系原点在末端坐标系中的投影用一个向量来表示，测温枪坐标系z轴的朝向在末端坐标系中的投影用表示；
相机坐标系与世界坐标系之间的坐标变换由变换矩阵表示，其中c表示相机坐标系。
较佳的，相机的光轴不与测温枪轴线平行且不与测温枪轴线垂直。
较佳的，第i次采样时末端坐标系与世界坐标系之间的坐标变换使用变换矩阵表示。
较佳的，从第i次采样的图像中检测到的椭圆轮廓特征使用一个维度为3×3的对称矩阵Qi表示；从第i次采样的图像中检测到的两条直线特征使用一个消失点vi表示，vi通过求取图像平面上的两条直线特征的交点(vx,vy)求得。
较佳的，测温枪坐标系z轴朝向通过所述的两条直线特征求得：给定由第i次采样所求得的消失点vi，由下式求得：
其中，表示第i次采样时测温枪坐标系z轴在相机坐标系中的投影，(*)T表示矩阵转置，表示第i次采样时相机坐标系到末端坐标系的齐次变换矩阵，表示第i次采样时测温枪坐标系z轴在末端坐标系中的投影；
测温枪坐标系原点在图像平面上的投影通过所述椭圆轮廓特征和求得：给定由第i次采样拟合所得的椭圆矩阵Qi以及测温枪坐标系的原点在图像平面上的投影通过下式求得
其中，pi表示第i次采样时测温枪坐标系的原点在图像平面上的投影，表示椭圆矩阵Qi的逆。
较佳的，通过下式求得：
其中，n表示采样的总次数；
通过以下方法求得：
满足
ti表示一个未知标量；
未知标量ti通过求解以下线性方程组求得：
通过下式求得：
较佳的，所述直线特征通过对测温枪末端边缘上的轮廓进行直线拟合求得；所述椭圆轮廓特征通过对测温枪端面轮廓进行椭圆拟合求得。
根据本发明提供的一种基于视觉的机器人末端测温枪坐标系标定系统，包括：
成像模块：通过多轴机器人将测温枪在相机视野内移动，使测温枪端面在相机视野内的不同位置成像，得到多个测温枪端面图像；
特征采集模块：记录多轴机器人末端的姿态，采集测温枪端面图像中测温枪端面的椭圆轮廓特征和直线特征；
坐标系标定模块：通过直线特征求取测温枪坐标系z轴的朝向，通过椭圆轮廓特征求取测温枪坐标系z轴的原点。
较佳的，相机的光轴不与测温枪轴线平行且不与测温枪轴线垂直。
与现有技术相比，本发明具有如下的有益效果：
本发明使用了非接触的传感器，使得标定过程更安全、快速、简单。通过标定发生形变的测温枪，使得接插装配任务得以完成。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为测温枪坐标系标定系统的立体示意图；
图2为未发生形变的圆柱杆状测温枪示意图；
图3为形变后的圆柱杆状测温枪示意图；
图4为形变后的圆柱杆状测温枪末端示意图；
图5为提取的椭圆轮廓特征与直线特征示意图；
图6为测温枪坐标系示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
一种基于视觉的冶金作业机器人末端测温枪坐标系标定方法，该方法具有以下步骤：
成像步骤：通过多轴机器人将测温枪在相机视野内移动，使测温枪端面在相机视野内的不同位置成像，得到多个测温枪端面图像(图像数量大于2)；
特征采集步骤：记录多轴机器人末端的姿态，采集测温枪端面图像中测温枪端面的椭圆轮廓特征和直线特征；所述直线特征通过对测温枪末端边缘上的轮廓进行直线拟合求得；所述椭圆轮廓特征通过对测温枪端面轮廓进行椭圆拟合求得。
坐标系标定步骤：通过直线特征求取测温枪坐标系z轴的朝向，通过椭圆轮廓特征求取测温枪坐标系z轴的原点。
具体的，多轴机器人末端的末端坐标系到世界坐标系之间的坐标转换用变换矩阵表示，其中b表示世界坐标系，e表示末端坐标系；
测温枪坐标系与末端坐标系的坐标转换用变换矩阵表示，其中t表示测温枪坐标系，测温枪坐标系原点在末端坐标系中的投影用一个向量来表示，测温枪坐标系z轴的朝向在末端坐标系中的投影用表示；
相机坐标系与世界坐标系之间的坐标变换由变换矩阵表示，其中c表示相机坐标系。
相机的光轴不与测温枪轴线平行且不与测温枪轴线垂直。所使用圆柱杆状测温枪具有弯曲形变。且所述弯曲形变为塑性形变，不会随着圆柱杆状测温枪位姿的变化而发生变化。所使用圆柱杆状测温枪变形后，从其末端截取长度为l的圆柱体，所截取部位可近似为未变形的圆柱体。
通过移动多轴机器人，使圆柱杆状的测温枪末端移动到相机视野范围内的多个不相同位置。第i次采样时末端坐标系与世界坐标系之间的坐标变换使用变换矩阵表示。
从第i次采样的图像中检测到的椭圆轮廓特征使用一个维度为3×3的对称矩阵Qi表示；从第i次采样的图像中检测到的两条直线特征使用一个消失点vi表示，vi通过求取图像平面上的两条直线特征的交点(vx,vy)求得。
测温枪坐标系z轴朝向通过所述的两条直线特征求得：给定由第i次采样所求得的消失点vi，由下式求得：
其中，表示第i次采样时测温枪坐标系z轴在相机坐标系中的投影，(*)T表示矩阵转置，表示第i次采样时相机坐标系到末端坐标系的齐次变换矩阵，表示第i次采样时测温枪坐标系z轴在末端坐标系中的投影；
测温枪坐标系原点在图像平面上的投影通过所述椭圆轮廓特征和求得：给定由第i次采样拟合所得的椭圆矩阵Qi以及测温枪坐标系的原点在图像平面上的投影通过下式求得
其中，pi表示第i次采样时测温枪坐标系的原点在图像平面上的投影，表示椭圆矩阵Qi的逆。
通过下式求得：
其中，n表示采样的总次数；
通过以下方法求得：
满足
ti表示一个未知标量；
未知标量ti通过求解以下线性方程组求得：
通过下式求得：
如图1所示，圆柱杆状测温枪2固定于多轴机器人1上，移动多轴机器人1可以带动圆柱状测温枪2。相机5被固定在相机支架4上，相机支架被固定在托盘3上。相机的安装方式使其光轴不与圆柱杆状测温枪轴线6平行且不与圆柱杆状测温枪轴线垂直，且保证圆柱杆状测温枪端面11在相机5视野内能够清晰成像。所使用的相机5位置已经过标定，即已由相机外参标定求得。
如图2所示，未发生形变的圆柱状测温枪末端轴向7与其轴向6共线。
如图3所示，形变后的圆柱状测温枪末端轴向7与其轴向6不共线。且所述弯曲形变为塑性形变，不会随着圆柱杆状测温枪2所处位姿的变化而发生变化。
如图4所示，从形变后的圆柱杆状测温枪2末端截取长度为l的一段，可近似为未发生形变的圆柱杆。
如图5所示，使用所述相机5检测圆柱杆状测温枪端面11上的椭圆轮廓特征9和两条线特征8。点v为消失点在图像上的投影10，可通过求取两条直线的交点求得。
在上述一种基于视觉的机器人末端测温枪坐标系标定方法的基础上，本发明还提供的一种基于视觉的机器人末端测温枪坐标系标定系统，包括：
成像模块：通过多轴机器人将测温枪在相机视野内移动，使测温枪端面在相机视野内的不同位置成像，得到多个测温枪端面图像；
特征采集模块：记录多轴机器人末端的姿态，采集测温枪端面图像中测温枪端面的椭圆轮廓特征和直线特征；
坐标系标定模块：通过直线特征求取测温枪坐标系z轴的朝向，通过椭圆轮廓特征求取测温枪坐标系z轴的原点。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于视觉的机器人末端测温枪坐标系标定方法，其特征在于，包括：
成像步骤：通过多轴机器人将测温枪在相机视野内移动，使测温枪端面在相机视野内的不同位置成像，得到多个测温枪端面图像；
特征采集步骤：记录多轴机器人末端的姿态，采集测温枪端面图像中测温枪端面的椭圆轮廓特征和直线特征；
坐标系标定步骤：通过直线特征求取测温枪坐标系z轴的朝向，通过椭圆轮廓特征求取测温枪坐标系z轴的原点。
2.根据权利要求1所述的基于视觉的机器人末端测温枪坐标系标定方法，其特征在于，多轴机器人末端的末端坐标系到世界坐标系之间的坐标转换用变换矩阵表示，其中b表示世界坐标系，e表示末端坐标系；
测温枪坐标系与末端坐标系的坐标转换用变换矩阵表示，其中t表示测温枪坐标系，测温枪坐标系原点在末端坐标系中的投影用一个向量来表示，测温枪坐标系z轴的朝向在末端坐标系中的投影用表示；
相机坐标系与世界坐标系之间的坐标变换由变换矩阵表示，其中c表示相机坐标系。
3.根据权利要求1所述的基于视觉的机器人末端测温枪坐标系标定方法，其特征在于，相机的光轴不与测温枪轴线平行且不与测温枪轴线垂直。
4.根据权利要求2所述的基于视觉的机器人末端测温枪坐标系标定方法，其特征在于，第i次采样时末端坐标系与世界坐标系之间的坐标变换使用变换矩阵表示。
5.根据权利要求4所述的基于视觉的机器人末端测温枪坐标系标定方法，其特征在于，从第i次采样的图像中检测到的椭圆轮廓特征使用一个维度为3×3的对称矩阵Qi表示；从第i次采样的图像中检测到的两条直线特征使用一个消失点vi表示，vi通过求取图像平面上的两条直线特征的交点(vx,vy)求得。
6.根据权利要求5所述的基于视觉的机器人末端测温枪坐标系标定方法，其特征在于，测温枪坐标系z轴朝向通过所述的两条直线特征求得：给定由第i次采样所求得的消失点vi，由下式求得：
其中，表示第i次采样时测温枪坐标系z轴在相机坐标系中的投影，(*)T表示矩阵转置，表示第i次采样时相机坐标系到末端坐标系的齐次变换矩阵，表示第i次采样时测温枪坐标系z轴在末端坐标系中的投影；
测温枪坐标系原点在图像平面上的投影通过所述椭圆轮廓特征和求得：给定由第i次采样拟合所得的椭圆矩阵Qi以及测温枪坐标系的原点在图像平面上的投影通过下式求得
其中，pi表示第i次采样时测温枪坐标系的原点在图像平面上的投影，表示椭圆矩阵Qi的逆。
7.根据权利要求6所述的基于视觉的机器人末端测温枪坐标系标定方法，其特征在于，通过下式求得：
其中，n表示采样的总次数；
通过以下方法求得：
满足
ti表示一个未知标量；
未知标量ti通过求解以下线性方程组求得：
通过下式求得：
8.根据权利要求1所述的基于视觉的机器人末端测温枪坐标系标定方法，其特征在于，所述直线特征通过对测温枪末端边缘上的轮廓进行直线拟合求得；所述椭圆轮廓特征通过对测温枪端面轮廓进行椭圆拟合求得。
9.一种基于视觉的机器人末端测温枪坐标系标定系统，其特征在于，包括：
成像模块：通过多轴机器人将测温枪在相机视野内移动，使测温枪端面在相机视野内的不同位置成像，得到多个测温枪端面图像；
特征采集模块：记录多轴机器人末端的姿态，采集测温枪端面图像中测温枪端面的椭圆轮廓特征和直线特征；
坐标系标定模块：通过直线特征求取测温枪坐标系z轴的朝向，通过椭圆轮廓特征求取测温枪坐标系z轴的原点。
10.根据权利要求9所述的基于视觉的机器人末端测温枪坐标系标定系统，其特征在于，相机的光轴不与测温枪轴线平行且不与测温枪轴线垂直。
CN201910218318.XA 2019-03-21 2019-03-21 基于视觉的机器人末端测温枪坐标系标定方法及系统 Active CN109990705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910218318.XA CN109990705B (zh) 2019-03-21 2019-03-21 基于视觉的机器人末端测温枪坐标系标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910218318.XA CN109990705B (zh) 2019-03-21 2019-03-21 基于视觉的机器人末端测温枪坐标系标定方法及系统

Publications (2)

Publication Number Publication Date
CN109990705A true CN109990705A (zh) 2019-07-09
CN109990705B CN109990705B (zh) 2020-07-14

Family

ID=67130716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910218318.XA Active CN109990705B (zh) 2019-03-21 2019-03-21 基于视觉的机器人末端测温枪坐标系标定方法及系统

Country Status (1)

Country Link
CN (1) CN109990705B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113686239A (zh) * 2020-05-19 2021-11-23 宝山钢铁股份有限公司 基于光电传感器的自动测温枪的探头套接/拔除检测方法
CN113686238A (zh) * 2020-05-19 2021-11-23 宝山钢铁股份有限公司 一种冶金自动测温枪的探头套接/拔除检测实现方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2161537A2 (en) * 2008-09-05 2010-03-10 Fujitsu Limited Optical position measuring apparatus based on projection of grid patterns
CN104807476A (zh) * 2015-04-23 2015-07-29 上海大学 一种基于位姿估计的测棒快速标定装置和方法
CN109465830A (zh) * 2018-12-11 2019-03-15 上海应用技术大学 机器人单目立体视觉标定系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2161537A2 (en) * 2008-09-05 2010-03-10 Fujitsu Limited Optical position measuring apparatus based on projection of grid patterns
CN104807476A (zh) * 2015-04-23 2015-07-29 上海大学 一种基于位姿估计的测棒快速标定装置和方法
CN109465830A (zh) * 2018-12-11 2019-03-15 上海应用技术大学 机器人单目立体视觉标定系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王昱欣等: "软体机器人手眼视觉/形状混合控制", 《机器人》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113686239A (zh) * 2020-05-19 2021-11-23 宝山钢铁股份有限公司 基于光电传感器的自动测温枪的探头套接/拔除检测方法
CN113686238A (zh) * 2020-05-19 2021-11-23 宝山钢铁股份有限公司 一种冶金自动测温枪的探头套接/拔除检测实现方法
CN113686239B (zh) * 2020-05-19 2024-06-04 宝山钢铁股份有限公司 基于光电传感器的自动测温枪的探头套接/拔除检测方法

Also Published As

Publication number Publication date
CN109990705B (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
Shah et al. Intrinsic parameter calibration procedure for a (high-distortion) fish-eye lens camera with distortion model and accuracy estimation
Zhou et al. Complete calibration of a structured light stripe vision sensor through planar target of unknown orientations
CN107218928B (zh) 一种复杂多管路系统检测方法
CN106127758B (zh) 一种基于虚拟现实技术的视觉检测方法及装置
CN112132908B (zh) 一种基于智能检测技术的相机外参数标定方法及设备
Zhang et al. Novel calibration method for a multi-sensor visual measurement system based on structured light
CN107431788A (zh) 视觉系统中的基于图像的托盘对准和管槽定位
CN109990705A (zh) 基于视觉的机器人末端测温枪坐标系标定方法及系统
Xia et al. Global calibration of multi-cameras with non-overlapping fields of view based on photogrammetry and reconfigurable target
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
CN107092905B (zh) 一种电力巡检机器人的待识别仪器定位方法
Yu et al. Camera calibration of thermal-infrared stereo vision system
US10162189B2 (en) Device, system and method for the visual alignment of a pipettor tip and a reference point marker
CN113280209B (zh) 检测管道多余物的系统以及系统的使用方法、检测方法
Muffert et al. The estimation of spatial positions by using an omnidirectional camera system
CN115063477A (zh) 红外可见光双通道同步成像实时配准融合采集方法及装置
CN204314239U (zh) X射线ct装置
Acampora et al. 3D reconstruction of thermal images
Fang et al. Geometric transformation modeling for line-scan images under different camera poses
Andersson A low-latency 60 Hz stereo vision system for real-time visual control
Wang et al. A vision location system design of glue dispensing robot
Li et al. The application of image based visual servo control system for smart guard
Uyanik et al. SPGS: A new method for autonomous 3D reconstruction of unknown objects by an industrial robot
Hui et al. Visual SLAM based on EKF filtering algorithm from omnidirectional camera
CN112085732A (zh) 目标物体多视角图像采集与观测角度自动标记装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant