CN113393415A - 连铸坯表面缺陷清理的视觉测量系统及路径规划方法 - Google Patents

连铸坯表面缺陷清理的视觉测量系统及路径规划方法 Download PDF

Info

Publication number
CN113393415A
CN113393415A CN202010174964.3A CN202010174964A CN113393415A CN 113393415 A CN113393415 A CN 113393415A CN 202010174964 A CN202010174964 A CN 202010174964A CN 113393415 A CN113393415 A CN 113393415A
Authority
CN
China
Prior art keywords
camera
continuous casting
casting billet
coordinate system
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010174964.3A
Other languages
English (en)
Other versions
CN113393415B (zh
Inventor
徐锟
吴守仓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MCC Baosteel Technology Services Co Ltd
Original Assignee
MCC Baosteel Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MCC Baosteel Technology Services Co Ltd filed Critical MCC Baosteel Technology Services Co Ltd
Priority to CN202010174964.3A priority Critical patent/CN113393415B/zh
Publication of CN113393415A publication Critical patent/CN113393415A/zh
Application granted granted Critical
Publication of CN113393415B publication Critical patent/CN113393415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30116—Casting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Economics (AREA)
  • Computational Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Algebra (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种连铸坯表面缺陷清理的视觉测量系统及路径规划方法，用于对连铸坯表面进行视觉测量，所述视觉测量系统包括多个沿连铸坯长度方向等距布置的相机、多个与相机一一对应的激光发射器、网络交换机、以及控制器，所述激光发射器向连铸坯表面投射网格状结构光，每个相机在连铸坯表面的拍摄范围覆盖连铸坯宽度方向的边缘，且相邻两个相机的拍摄范围具有拍摄重叠区域，所有相机的总拍摄范围覆盖整个连铸坯长度；所述相机和激光发射器都与网络交换机相连，所述网络交换机与控制器信号相连。对连铸坯表面完成高效的图像拍摄，方便对连铸坯表面缺陷进行针对性清理，实现切割清理路径的预先整体规划，保证表面缺陷清理质量。

Description

连铸坯表面缺陷清理的视觉测量系统及路径规划方法
技术领域
本发明涉及铸坯精整领域，具体涉及一种连铸坯表面缺陷清理的视觉测量系统及路径规划方法。
背景技术
连铸坯的缺陷的熔除对于钢厂一直是个难题，目前大多采用人工清理的方法，人工清理是一项技术性很强的工作，操作人员必须经过专业培训，特定岗位需持有特种操作证，并且连铸坯的清理作业的劳动强度很大，整体作业效率低。同时人工清理时作业现场高温、高粉尘，长时间作业会影响作业人员身体健康。
机器清理虽然能够比较好的替代人工实施进行火焰清理作业，连铸坯自动清理设备的火焰清理枪是悬挂在厂房主梁的导轨上通过电机驱动实现清理枪的运动，但是火焰清理枪清理采用的是统一火焰强度和固定吹扫路径，不能对连铸坯表面缺陷有针对性的进行清理，整体清理质量参差不齐，并且需要人工检查和二次人工补枪清理，才能达到下步工序的质量要求。
发明内容
鉴于以上所述现有技术的缺点，本发明要解决的技术问题在于提供连铸坯表面缺陷清理的视觉测量系统及路径规划方法，使连铸坯表面缺陷清理具有针对性，保证清理质量，提供工作效率高。
为实现上述目的，本发明提供一种连铸坯表面缺陷清理的视觉测量系统，用于对连铸坯表面进行视觉测量，包括多个沿连铸坯长度方向等距布置的相机、多个与相机一一对应的激光发射器、网络交换机、以及控制器，所述激光发射器向连铸坯表面投射网格状结构光，每个相机在连铸坯表面的拍摄范围覆盖连铸坯宽度方向的边缘，且相邻两个相机的拍摄范围具有拍摄重叠区域，所有相机的总拍摄范围覆盖整个连铸坯长度；所述相机和激光发射器都与网络交换机相连，所述网络交换机与控制器信号相连。
进一步地，所述连铸坯长度为12m，所述相机的镜头焦距为8mm，所述相机的光心与连铸坯表面的距离为1.8mm；所述相机为9个、且每个相机在连铸坯表面的拍摄范围长度为1.98mm。
进一步地，相邻两个相机的拍摄重叠区域的长度为单个相机拍摄范围长度的1/3。
进一步地，所述相机为CMOS相机，分辨率至少为5488*3672pixels，像素物理尺寸2.4*2.4微米，矩形感光芯片长边为13.171毫米、短边为8.813毫米。
进一步地，还包括照明光源，所述照明光源向连铸坯表面投射照明光。
本发明还提供了一种，连铸坯表面缺陷清理的路径规划方法，用于规划火焰清理枪清理路径，所述火焰清理枪由机械臂驱动，采用上述的视觉测量系统进行，包括以下步骤：
S1、将视觉测量系统在连铸坯表面上方安装好，其中视觉测量系统中包括n个相机，利用激光发射器向连铸坯表面发射网格状结构光，利用相机进行拍摄，并通过网络交换机传输给控制器；
S2、相机的联合标定，包括：
S21、确定每个相机的内参矩阵，得到集合(Min)n；
S22、确定每个相机的外参矩阵，得到集合Mwn；
S23、计算任意两个相邻相机间的单应性矩阵H、以及转换矩阵Mz；得到单应性矩阵集合Hn、以及转换矩阵集合Mzn；
S24、根据内参矩阵集合(Min)n和外参矩阵集合(Mw)n，得到每台相机的像素坐标系与世界坐标系的转换关系；根据单应性矩阵集合Hn、以及转换矩阵集合Mzn，将n个相机所拍摄的图像拼接，完成所有单个相机所拍摄的图像在世界坐标系中的统一，得到连铸坯的在世界坐标系的位置信息；
S3、机械臂坐标标定，包括：
S31、求解视觉测量系统中相机的相机坐标系与机械臂坐标系之间的变换矩阵X；
S32、根据变换矩阵X、以及S24中连铸坯的在世界坐标系的位置信息，确定连铸坯在机械臂坐标系下的位置信息；
S4、根据连铸坯(1)在机械臂坐标系下的位置信息，控制机械臂的运动，完成火焰清理枪清理路径规划
进一步地，所述步骤S21包括：设相机的像素坐标系为ouv，图像坐标系为otxy，相机坐标系为OcXcYcZc，用相机内参数模型把成像面上的像点(x,y)转变成图像面点(u,v)，像素坐标系与图像坐标系之间有式Ⅰ
Figure BDA0002410503520000021
其中(u0,v0)n为光轴中心与成像面的交点，axn和ayn为像素坐标系和图像坐标系的对应轴的比例放大系数；像素坐标系与相机坐标系之间的转换关系有式Ⅱ
Figure BDA0002410503520000031
选取一些点的坐标代入，计算得到相机的内参矩阵的集合(Min)n。
进一步地，所述步骤S22包括：设外参矩阵Mwn由一个旋转矩阵Rw和平移矩阵tw组合而成，任一交汇点利用相机坐标系OcXcYcZc和世界坐标系OwXwYwZw表示其坐标为(Xc,Yc,Zc)和(Xw,Yw,Zw)，得到式Ⅲ：
Figure BDA0002410503520000032
将式Ⅲ展开，选取的多个不同交汇点，求解得到相机的外参矩阵。
进一步地，所述步骤S23中，任意两个相邻相机间的单应性矩阵H计算方式包括：在相邻两台相机图像匹配的过程中，将对两幅图像提取所有同名点，同名点的关系如式Ⅳ：
Figure BDA0002410503520000033
其中H有8个不确定因子，x和x`为两幅图像中的同名点，选取多个同名点的坐标带入计算，得到单应性矩阵H
进一步地，所述步骤S31包括：所述步骤S31包括：多次移动相机、以及多次使机械臂运动，根据标定基本方程式CX＝XD，求得变换矩阵X，式中C表示相机由一个相机位置Cc1运动到下一个相机位置Cc2时的相对位置关系，D为机械臂在动作过程中在机械臂坐标系中的相对位置变化，从机械臂控制器中读出。
如上所述，本发明涉及的视觉测量系统及路径规划方法，具有以下有益效果：
通过设置相机、激光发射器、网络交换机、以及控制器，使用时，利用激光器向连铸坯表面发射网格状结构光，利用相机对含有结构光的连铸坯图像进行拍摄，并通过网络交换机传输给控制器，用于储存图像等数据，通过相应图像拼接算法，将每个相机所拍摄的图像拼接起来，从而获得连铸坯表面的整体图像，将所获得的整体图像用于指导连铸坯表面缺陷清理，使得清理能够针对性的。本发明的视觉测量系统，采用多个相机采集连铸坯局部图像，最后拼接形成整体图像，能够在连铸坯较长的时候保证其测量精度，对连铸坯表面完成高效的图像拍摄，方便对连铸坯表面缺陷进行针对性清理，实现切割清理路径的预先整体规划，保证表面缺陷清理质量，减少人工劳动强度，提供效率。
附图说明
图1为本发明的视觉测量系统的结构示意图。
图2为本图1的俯视图。
图3为本发明的视觉测量系统的拍摄示意图。
图4为本发明的路径规划方法中的各个坐标系的示意图。
元件标号说明
1 连铸坯
2 相机
3 激光发射器
4 光源
5 控制器
6 网络交换机
7 主梁
8 拍摄重叠区域
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
须知，本说明书附图所绘的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，亦仅为便于叙述明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图1至图3，本发明提供了一种连铸坯1表面缺陷清理的视觉测量系统，用于对连铸坯1表面进行视觉测量，包括多个沿连铸坯1长度方向等距布置的相机2、多个与相机2一一对应的激光发射器3、网络交换机6、以及控制器5，激光发射器3向连铸坯1表面投射网格状结构光，每个相机2在连铸坯1表面的拍摄范围覆盖连铸坯1宽度方向的边缘，且相邻两个相机2的拍摄范围具有拍摄重叠区域8，所有相机2的总拍摄范围覆盖整个连铸坯1长度；相机2和激光发射器3与网络交换机6相连，网络交换机6与控制器5信号相连。
本发明的视觉测量系统，相对应相机2和激光发射器3构成一组测量单元，来测量连铸坯1表面的一段区域，每组测量单元的工作原理相同。使用时，利用激光器向连铸坯1表面发射网格状结构光，利用相机2对含有结构光的连铸坯1图像进行拍摄，并通过网络交换机6传输给控制器5；控制器5可选用PLC控制器5，用于储存图像等数据，通过相应图像拼接算法，将每个相机2所拍摄的图像拼接起来，从而获得连铸坯1表面的整体图像，将所获得的整体图像用于指导连铸坯1表面缺陷清理，使得清理能够针对性的，工作效率高，保证清理质量。本发明的视觉测量系统，采用多个相机2采集连铸坯1局部图像，最后拼接形成整体图像，能够在连铸坯1较长的时候保证其测量精度，对连铸坯1表面完成高效的图像拍摄，方便对连铸坯1表面缺陷进行针对性清理，实现切割清理路径的预先整体规划，保证表面缺陷清理质量，减少人工劳动强度，提供效率。
在本发明中，相机2的数量可以根据连铸坯1长度、相机2拍摄高度等因素视具体情况确定。参见图1至图3，在本实施例中，相机2和激光发射器3布置在主梁7上，连铸坯1长度为12mm，此时优选地，相机2的光心与连铸坯1表面的距离为1.8mm；相机2的镜头焦距为8mm，感光传感器向水平方向覆盖需≥8.9mm，相机2可选择CMOS相机，2000万1英寸靶面采集相机，分辨率至少为5488*3672pixels，像素物理尺寸2.4*2.4微米，矩形感光芯片长边为13.171毫米，短边为8.813毫米，以满足图像采集的覆盖要求，确保测量精度。
参见图1至图3，在本实施例中，相机2和激光发射器3都为9个，来分别拍摄其下方对应的局部图像，每个相机2在连铸坯1表面的拍摄范围长度为1.98mm。相邻两个相机2拍摄的拍摄重叠区域8的长度优选为单个相机2拍摄范围长度的1/3左右，以此保证图像拼接精度和稳定性，具体在本实施例子中，拍摄重叠区域8的长度为0.65m，每个相机2未拍摄重叠区域8为0.68m。两端相机2拍摄区域超出连铸坯1两端边缘，9个相机2拍摄局部图像在拼接后的图像覆盖距离总长达到12.647m，满足连铸坯1长度要求。
作为优选设计，视觉测量系统还包括照明光源4，照明光源4向连铸坯1表面投射照明光，具体在本实施例中，光源4为9个，分别设置在对应相机2旁，光源4用于补充照明，确保在夜晚工作等光亮不足的情况下保证视觉测量系统的工作。
作为优选设计，在相机2、摄像头和光源4等设备与连铸坯1之间还设置隔离挡板，以此来克服切割中的高温气浪对这些设备的影响，在切割中对设备进行隔离保护。
本发明还提供了一种连铸坯1表面缺陷清理的路径规划方法，用于规划火焰清理枪清理路径，火焰清理枪由机械臂驱动，采用上述的视觉测量系统进行，包括以下步骤S1～S4：
S1、将视觉测量系统在连铸坯1表面上方安装好，其中视觉测量系统中包括n个相机2，利用激光器发射器3向连铸坯1表面发射网格状结构光，利用相机2进行拍摄，并通过网络交换机6传输给控制器5。
S2、相机2的联合标定：
由于相机2的工作原理都相同，对任一相机2，参见图4所示，设相机2的像素坐标系为ouv，图像坐标系为otxy，相机坐标系为OcXcYcZc，建立世界坐标系OwXwYwZw(也称为绝对坐标系或基础坐标系)，其中，像素坐标系ouv与图像坐标系otxy的对应轴相平行，相机2光心定位为相机坐标系原点Oc，相机2的光轴定位为相机坐标系的Zc轴，Xc轴和Yc轴分别与图像坐标系的x轴和y轴平行。
该步骤的目的在于，获得相机2的像素坐标系ouv与世界坐标系OwXwYwZw的对应关系，也即将图像面点(u,v)对应到世界坐标系中的位置，来获得了连铸坯1在世界坐标系下的位置参数，包括以下步骤S21～S24：
S21、确定每个相机2的内参矩阵，得到集合(Min)n。相机2的内参矩阵Min用于实现相机坐标系OcXcYcZc与像素坐标系ouv之间的转换，将成像面上的像点(x,y)(标定板上面的数据，直接读取)转换成图像面点(u,v)，再转换成到相机坐标系中。内参矩阵Min在相机2设备安装后的作为未知数，然后利用已测的基准点的参数坐标计算获得，确认参数后，即作为固定系数。
每个相机2的计算方式相同，具体地，对n个相机2，其像素坐标系与图像坐标系之间的转换有式Ⅰ
Figure BDA0002410503520000061
其中(u0,v0)n为相机2光轴中心与成像面的交点，简单起见，可以取坐标原点，axn和ayn为像素坐标系与图像坐标系对应轴之间的比例放大系数，为相机2的内参数。以此，用相机2内参数模型可把成像面上的像点(x,y)转变成图像面点(u,v)，即实现图像坐标系到像素坐标系的转换。
像素坐标系与相机坐标系之间的转换关系有式Ⅱ：
Figure BDA0002410503520000062
fxn＝fyn为相机2的内参数，当fxn＝fyn＝fn时，模型含有3个参数，考虑到在实际应用中fxn和fyn的区别，内参数矩阵包含4个参数，四个参数都为相机2的内参数。将公式Ⅱ展开，在连铸坯1表面选取一些点的坐标代入，即可计算得到相机2的内参矩阵的集合(Min)n。
S22、确定每个相机2的外参矩阵，得到集合Mwn。外参矩阵Mw根据相机2的安装位置设定，为系统设定值，用于实现相机坐标系到世界坐标系的转换。内参矩阵Mw在相机2设备安装后的作为未知数，利用已测的基准点的参数坐标获得，确认参数后，即作为固定系数。
外参矩阵Mw由一个旋转矩阵Rw和平移矩阵tw组合而成，每个相机2的计算方式相同，对n个相机2，具体地，相邻相机2的拍摄重叠区域8的点为交汇点，利用相机坐标系和世界坐标系表示任一交汇点的坐标为(Xc,Yc,Zc)和(Xw,Yw,Zw)，得到式Ⅲ：
Figure BDA0002410503520000071
将式Ⅲ展开，选取的4个不同交汇点，即可计算得到相机2(2)的外参矩阵Mw，采用相同计算方式，得到集合Mwn。
S23、计算任意两个相邻相机2间的单应性矩阵H、以及转换矩阵Mz；得到单应性矩阵集合Hn、以及转换矩阵集合Mzn。具体地，每两个相邻相机2之间具有一个Mz，其计算方式相同，设任意相邻两个相机2的相机坐标系分别为Oc1Xc1Yc1Zc1和Oc2Xc2Yc2Zc2，两个相机坐标系的转换有式Ⅲ：
Figure BDA0002410503520000072
转换矩阵Mz表示相邻两个相机2的位置关系，由一个旋转矩阵Rz和一个平移矩阵tz组合而成，然后根据相机坐标系的位置(根据设备的安装位置设定，系统设定值)，即可得到转换矩阵集合Mzn。
任意两个相邻相机2间的单应性矩阵H计算方式，具体地，在相邻两台相机2图像匹配的过程中，将对两幅图像提取所有同名点，例如连铸坯1表面在拍摄重叠区域8中一点在两幅图像中分别为点A1和点B1，则A1和B1为同名点。同名点的关系如式Ⅳ：
Figure BDA0002410503520000073
其中H有8个不确定因子，x和x`为两幅图像中的同名点，选取多个同名点的坐标带入计算，得到单应性矩阵H。每两个相邻相机2之间具有一个单应性矩阵H，其计算方式相同，从而得到射影矩阵集合Hn。单应性矩阵H也称射影矩阵，反应相邻两个相机2所拍图像之间的关系，确认参数后，即作为固定系数，用于图像的拼接计算。
S24、根据内参矩阵集合(Min)n和外参矩阵集合(Mw)n，得到每台相机2的像素坐标系与世界坐标系的转换关系；根据单应性矩阵集合Hn、以及转换矩阵集合Mzn，将n个相机2所拍摄的图像拼接，完成所有单个相机2所拍摄图像在世界坐标系中的统一，得到连铸坯1的在世界坐标系的位置信息。
S3、机械臂坐标标定，该步骤的目的在于完成机械臂坐标系-相机坐标系-世界坐标系之间的转换，包括下述步骤S31～S32。
S31、求解视觉测量系统中相机2的相机坐标系与机械臂坐标系之间的变换矩阵X，得到集合Xn。机械臂坐标系OhXhYhZh为机械臂自身的坐标系，以机械臂的固定基座为基础建立。具体地，根据标定基本方程式CX＝XD，式中C表示相机2由一个相机2位置Cc1运动到下一个相机2位置Cc2(即相邻位置)时的相对位置关系，可通过相机2的安装位置获得，D为机械臂在动作过程中在机械臂坐标系中的相对位置变化，可从机械臂控制器5中读出，X为未知量。n个相机2的相机坐标系与机械臂坐标系之间变换矩阵X的计算方式相同，CX＝XD可表示为：
Figure BDA0002410503520000081
待求解的参数只有Rn和tn，在标定过程中，多次移动相机2、以及使机械臂多次运动(相机2和机械臂运动不同步)，得到多组数据，求解出X，以此可以得到集合Xn。
变换矩阵X确认后，即可作为固定参数，以此可借助相机坐标系将机械臂坐标系标定到世界坐标系中。
S32、根据变换矩阵X、以及S24中连铸坯1的在世界坐标系的位置信息，确定连铸坯1在机械臂坐标系下的位置信息。
以此，通过步骤S3，形成了“机械臂坐标系-相机坐标系-世界坐标系”之间的转换
S4、根据连铸坯1在机械臂坐标系下的位置信息，控制机械臂的运动，完成火焰清理枪清理路径规划。
由上可知，本发明的路径规划方法，采用视觉测量系统进行图像拍摄，将所拍摄的图像转换到机械臂坐标系中，获得铸坯在机械臂坐标系下的位置信息，从而合理控制机械臂动作，通过机械臂驱动火焰清理枪运动，规划好火焰清理枪的路径，确保清理质量。实际现场施工时，设计精度可小于2mm。
综上所述，发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种连铸坯表面缺陷清理的视觉测量系统，用于对连铸坯(1)表面进行视觉测量，其特征在于：包括多个沿连铸坯(1)长度方向等距布置的相机(2)、多个与相机(2)一一对应的激光发射器(3)、网络交换机(6)、以及控制器(5)，所述激光发射器(3)向连铸坯(1)表面投射网格状结构光，每个相机(2)在连铸坯(1)表面的拍摄范围覆盖连铸坯(1)宽度方向的边缘，且相邻两个相机(2)的拍摄范围具有拍摄重叠区域(8)，所有相机(2)的总拍摄范围覆盖整个连铸坯(1)长度；所述相机(2)和激光发射器(3)都与网络交换机(6)相连，所述网络交换机(6)与控制器(5)信号相连。
2.根据权利要求1所述的视觉测量系统，其特征在于：所述连铸坯(1)长度为12m，所述相机(2)的镜头焦距为8mm，所述相机(2)的光心与连铸坯(1)表面的距离为1.8mm；所述相机(2)为9个、且每个相机(2)在连铸坯(1)表面的拍摄范围长度为1.98mm。
3.根据权利要求1所述的视觉测量系统，其特征在于：相邻两个相机(2)的拍摄重叠区域(8)的长度为单个相机(2)拍摄范围长度的1/3。
4.根据权利要求2所述的视觉测量系统，其特征在于：所述相机(2)为CMOS相机，分辨率至少为5488*3672pixels，像素物理尺寸2.4*2.4微米，矩形感光芯片长边为13.171毫米、短边为8.813毫米。
5.根据权利要求1所述的视觉测量系统，其特征在于：还包括照明光源(4)，所述照明光源(4)向连铸坯(1)表面投射照明光。
6.一种连铸坯表面缺陷清理的路径规划方法，用于规划火焰清理枪清理路径，所述火焰清理枪由机械臂驱动，其特征在于：采用如权利要求1所述的视觉测量系统进行，包括以下步骤：
S1、将视觉测量系统在连铸坯(1)表面上方安装好，其中视觉测量系统中包括n个相机(2)，利用激光发射器(3)向连铸坯(1)表面发射网格状结构光，利用相机(2)进行拍摄，并通过网络交换机(6)传输给控制器(5)；
S2、相机(2)的联合标定，包括：
S21、确定每个相机(2)的内参矩阵，得到集合(Min)n；
S22、确定每个相机(2)的外参矩阵，得到集合Mwn；
S23、计算任意两个相邻相机(2)间的单应性矩阵H、以及转换矩阵Mz；得到单应性矩阵集合Hn、以及转换矩阵集合Mzn；
S24、根据内参矩阵集合(Min)n和外参矩阵集合(Mw)n，得到每台相机(2)的像素坐标系与世界坐标系的转换关系；根据单应性矩阵集合Hn、以及转换矩阵集合Mzn，将n个相机(2)所拍摄的图像拼接，完成所有单个相机(2)所拍摄的图像在世界坐标系中的统一，得到连铸坯(1)的在世界坐标系的位置信息；
S3、机械臂坐标标定，包括：
S31、求解视觉测量系统中相机(2)的相机坐标系与机械臂坐标系之间的变换矩阵X；
S32、根据变换矩阵X、以及S24中连铸坯(1)的在世界坐标系的位置信息，确定连铸坯(1)在机械臂坐标系下的位置信息；
S4、根据连铸坯(1)在机械臂坐标系下的位置信息，控制机械臂的运动，完成火焰清理枪清理路径规划。
7.根据权利要求6所述的路径规划方法，其特征在于：所述步骤S21包括：设相机(2)的像素坐标系为ouv，图像坐标系为otxy，相机坐标系为OcXcYcZc，用相机(2)内参数模型把成像面上的像点(x,y)转变成图像面点(u,v)，像素坐标系与图像坐标系之间有式Ⅰ
Figure FDA0002410503510000021
其中(u0,v0)n为光轴中心与成像面的交点，axn和ayn为像素坐标系和图像坐标系的对应轴的比例放大系数；像素坐标系与相机坐标系之间的转换关系有式Ⅱ
Figure FDA0002410503510000022
选取一些点的坐标代入，计算得到相机(2)的内参矩阵的集合(Min)n。
8.根据权利要求6所述的路径规划方法，其特征在于：所述步骤S22包括：设外参矩阵Mwn由一个旋转矩阵Rw和平移矩阵tw组合而成，任一交汇点利用相机坐标系OcXcYcZc和世界坐标系OwXwYwZw表示其坐标为(Xc,Yc,Zc)和(Xw,Yw,Zw)，得到式Ⅲ：
Figure FDA0002410503510000031
将式Ⅲ展开，选取的多个不同交汇点，求解得到相机(2)的外参矩阵。
9.根据权利要求6所述的路径规划方法，其特征在于：所述步骤S23中，任意两个相邻相机(2)间的单应性矩阵H计算方式包括：在相邻两台相机(2)图像匹配的过程中，将对两幅图像提取所有同名点，同名点的关系如式Ⅳ：
Figure FDA0002410503510000032
其中H有8个不确定因子，x和x`为两幅图像中的同名点，选取多个同名点的坐标带入计算，得到单应性矩阵H。
10.根据权利要求6所述的路径规划方法，其特征在于：所述步骤S31包括：多次移动相机(2)、以及多次使机械臂运动，根据标定基本方程式CX＝XD，求得变换矩阵X，式中C表示相机(2)由一个相机位置Cc1运动到下一个相机位置Cc2时的相对位置关系，D为机械臂在动作过程中在机械臂坐标系中的相对位置变化，从机械臂控制器(5)中读出。
CN202010174964.3A 2020-03-13 2020-03-13 连铸坯表面缺陷清理的视觉测量系统及路径规划方法 Active CN113393415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010174964.3A CN113393415B (zh) 2020-03-13 2020-03-13 连铸坯表面缺陷清理的视觉测量系统及路径规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010174964.3A CN113393415B (zh) 2020-03-13 2020-03-13 连铸坯表面缺陷清理的视觉测量系统及路径规划方法

Publications (2)

Publication Number Publication Date
CN113393415A true CN113393415A (zh) 2021-09-14
CN113393415B CN113393415B (zh) 2023-04-07

Family

ID=77615882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010174964.3A Active CN113393415B (zh) 2020-03-13 2020-03-13 连铸坯表面缺陷清理的视觉测量系统及路径规划方法

Country Status (1)

Country Link
CN (1) CN113393415B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114923410A (zh) * 2022-05-09 2022-08-19 一汽解放汽车有限公司 一种纵梁孔位在线检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102581244A (zh) * 2012-03-02 2012-07-18 中冶连铸技术工程股份有限公司 一种连铸铸坯表面质量的在线控制系统及控制方法
CN102608126A (zh) * 2012-02-23 2012-07-25 中冶连铸技术工程股份有限公司 一种高温连铸坯表面缺陷在线检测方法和装置
CN102788559A (zh) * 2012-07-19 2012-11-21 北京航空航天大学 一种宽视场结构光视觉测量系统及测量方法
CN103543161A (zh) * 2013-10-16 2014-01-29 湖南镭目科技有限公司 一种连铸坯表面质量在线检测方法
CN104020177A (zh) * 2014-06-26 2014-09-03 重庆大学 连铸坯表面缺陷双ccd扫描成像检测方法
CN105157604A (zh) * 2015-08-07 2015-12-16 天津大学 外场多束线结构光视觉测量系统的快速标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102608126A (zh) * 2012-02-23 2012-07-25 中冶连铸技术工程股份有限公司 一种高温连铸坯表面缺陷在线检测方法和装置
CN102581244A (zh) * 2012-03-02 2012-07-18 中冶连铸技术工程股份有限公司 一种连铸铸坯表面质量的在线控制系统及控制方法
CN102788559A (zh) * 2012-07-19 2012-11-21 北京航空航天大学 一种宽视场结构光视觉测量系统及测量方法
CN103543161A (zh) * 2013-10-16 2014-01-29 湖南镭目科技有限公司 一种连铸坯表面质量在线检测方法
CN104020177A (zh) * 2014-06-26 2014-09-03 重庆大学 连铸坯表面缺陷双ccd扫描成像检测方法
CN105157604A (zh) * 2015-08-07 2015-12-16 天津大学 外场多束线结构光视觉测量系统的快速标定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114923410A (zh) * 2022-05-09 2022-08-19 一汽解放汽车有限公司 一种纵梁孔位在线检测方法及装置
CN114923410B (zh) * 2022-05-09 2024-05-14 一汽解放汽车有限公司 一种纵梁孔位在线检测方法及装置

Also Published As

Publication number Publication date
CN113393415B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
JP5112432B2 (ja) 被測定物の検査測定装置
EP3086283B1 (en) Providing a point cloud using a surveying instrument and a camera device
JP3600230B2 (ja) 建築および土木構造物計測・解析システム
JP6654649B2 (ja) 欠陥検出装置及びプログラム
CN110487213A (zh) 基于空间错位的全视角线激光扫描三维成像装置与方法
CN101738161B (zh) 一种测量运动物体六维位姿的设备和方法
CN108227929B (zh) 基于bim技术的增强现实放样系统及实现方法
WO2011040239A1 (ja) 広角撮像装置及び測定システム
WO2021042668A1 (zh) Tbm搭载式隧道围岩结构虚拟再现系统与方法
CN102519383A (zh) 桥梁动态挠度光斑成像测量装置和方法
CN112415010B (zh) 一种成像检测方法及系统
US11671574B2 (en) Information processing apparatus, image capture apparatus, image processing system, and method of processing a plurality of captured images of a traveling surface where a moveable apparatus travels
US20230011911A1 (en) Primary-secondary type infrastructure disease detection and repair system and method
KR20090020359A (ko) 터널 매핑 자동화 장치 및 방법
CN113393415B (zh) 连铸坯表面缺陷清理的视觉测量系统及路径规划方法
JP2008055569A (ja) 点検ロボット
CN115793649B (zh) 一种电缆沟自动巡检装置及巡检方法
CN106468572A (zh) 多关节机器人动态性能测评系统
CN108952742A (zh) 一种基于机器视觉的盾构机导向方法及系统
EP3640588B1 (en) System, method and program for determining the size of a defect
CN111062992B (zh) 一种双视角线激光扫描三维成像装置及方法
CN106840137B (zh) 一种四点式掘进机自动定位定向方法
CN107797095A (zh) 一种应用于机器人运动的空间导航方法
CN114413790B (zh) 固连摄影测量相机的大视场三维扫描装置及方法
CN113107550B (zh) 一种基于机器视觉的盾构管片自动拼装方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant