CN117324600A - 连铸坯角部边缘缺陷清理的视觉测量系统及路径规划方法 - Google Patents

Abstract

本发明提供一种连铸坯角部边缘缺陷清理的视觉测量系统及其路径规划方法，包括：多个沿连铸坯长度方向等距布置的固定相机、多个与固定相机一一对应的激光发射器、沿工件布置方向设置的轨道、移动相机、网络交换机、导轨和于导轨上移动的氧气喷嘴，激光发射器向连铸坯表面投射阵列布置的线结构光，每个固定相机在连铸坯表面的拍摄范围覆盖连铸坯宽度方向的边缘，且相邻两个固定相机的拍摄范围不具有拍摄重叠区域；固定相机、移动相机和激光发射器都与网络交换机相连，网络交换机与控制器信号相连；本发明能够保证在长时间使用中维持角点以及边缘定位精度，实现自动化的连铸坯角部边缘三维坐标定位，减少加工误差以及多次维护返修需要的成本。

Description

连铸坯角部边缘缺陷清理的视觉测量系统及路径规划方法

技术领域

本发明涉及铸坯精整领域，具体涉及一种连铸坯角部边缘缺陷清理的视觉测量系统及路径规划方法。

背景技术

连铸坯的自动吹扫清理对于钢厂一直是个难题，目前一般通过人工或者机械大范围清洗的方法；首先，人工进行边缘缺陷清理是一项技术性很强的工作，操作人员必须经过专业培训，特定岗位需持有特种操作证，并且连铸坯的边缘吹扫倒角清理作业的劳动强度很大，整体作业效率低。

其次，机器倒角清理虽然能够比较好的替代人工实施，但是大范围自动清理可能对坯料的浪费，即将不必切割的部分进行切割，且大范围清理可能增加一部分生产成本。

另外，现有的机械清理方式采用机械扫描定位，扫描精度不足，且会在喷嘴来回行进的过程中累积较大的运动误差；随着时间延长，在该种机械扫描系统的长期运行下，因外部振动，设备老化等变化导致该系统测绘精度日趋降低，最终导致整体清理质量参差不齐，并且需要人工检查和二次人工补枪清理，才能达到下步工序的质量要求。

发明内容

鉴于以上所述现有技术的缺点，本发明要解决的技术问题在于提供连铸坯角部边缘缺陷清理的视觉测量系统及路径规划方法，能够保证在长时间使用中维持角点以及边缘定位精度，实现自动化的连铸坯角部边缘三维坐标定位，减少加工误差以及多次维护返修需要的成本。

为实现上述目的，本发明提供一种连铸坯角部边缘缺陷清理的视觉测量系统，用于对连铸坯角部边缘进行视觉测量，包括：多个沿连铸坯长度方向等距布置的固定相机、多个与固定相机一一对应的激光发射器、沿工件布置方向设置的轨道、在轨道上移动的移动相机、网络交换机、导轨和于导轨上移动的喷嘴，所述激光发射器向连铸坯表面投射阵列布置的线结构光，每个固定相机在连铸坯表面的拍摄范围覆盖连铸坯宽度方向的边缘，且相邻两个固定相机的拍摄范围不具有拍摄重叠区域；所述固定相机、所述移动相机和激光发射器都与网络交换机相连，所述网络交换机与控制器信号相连。

一种连铸坯角部边缘缺陷清理的路径规划方法：采用如上述的视觉测量系统进行，包括以下步骤：

S1、第一标定板上设有矩形阵列的多个第一类同心圆靶标，根据所述第一标定板进行单相机标定，确定各个所述固定相机的外部参数矩阵[R|t]、内部参数矩阵M和畸变系数；

S2、激光发射器投射多条线结构光，结合所述第一标定板，确定所有线结构光的光平面方程；

S3、所述移动相机多次移动，使得每两个固定相机之间均存在有一次所述移动相机；借由两相邻固定相机中移动相机进行双目标定，由两相邻固定相机到移动相机之间的外部参数矩阵[R|t]，求得每两相邻固定相机之间的外部参数矩阵[R_lr|t_lr]；

将某一固定相机设为参考相机，最终求得其余所述固定相机至所述参考相机的外部参数矩阵[R_n1|t_n1]；

S4、求得所述参考相机坐标系到基坐标系的外部参数矩阵[R_X|t_X]，并且由[R_X|t_X]乘以各个固定相机至所述参考相机的外部参数矩阵[R_n1|t_n1]，求得各所述固定相机至基坐标的转换矩阵；

S5、喷嘴坐标标定，包括：

S51、各所述固定相机对所述连铸坯进行拍摄；

S52、根据单个固定相机的内部参数矩阵M以及光平面方程，计算各个固定相机坐标内所述连铸坯的边缘点和角点的三维坐标；

S53、根据其余所述固定相机至所述参考相机的外部参数矩阵[R_n1|t_n1]，将所述连铸坯的边缘点和角点在所述各相机坐标系的坐标转换至所述参考相机的坐标系下；

S54、根据所述参考相机坐标系至基坐标系的转换矩阵[R_X|t_X]，将所述连铸坯的边缘点和角点在所述参考相机坐标系的坐标转换至基坐标系下；

S55、根据所述连铸坯的边缘点和角点在基坐标系下的位置信息，控制喷嘴的运动，完成火焰清理。

优选地，S1步骤包括：获得已知的第一类同心圆靶标中心C(x,y)，以及外圆半径r_o和内圆半径r_i；并由待测所述固定相机获得像素坐标系的外椭圆中心C_o(x,y)和内椭圆中心C_i(x,y)，并由公式Ⅰ以及公式Ⅱ/>联立，求得第一类同心圆靶标中心在像素坐标系的真实的坐标公式Ⅲ/>所有固定相机分别采集不同姿态的所述第一标定板，经由公式Ⅲ，得到第一类同心圆靶标在像素坐标系下的实际坐标集合p_ui(u_i,v_i,1),i＝1,2,3Kn；另外由预设数据得到相应的第一类同心圆靶标在世界坐标的坐标集合P_wi(X_wi,Y_wi,Z_wi,1),i＝1,2,3Kn；

将p_ui(u_i,v_i,1)，P_wi(X_wi,Y_wi,Z_wi,1)坐标集合代入至已知的相机成像模型sp_ui＝M[R|t]P_wi，从而得到各个所述固定相机的外部参数矩阵[R|t]和各个所述固定相机的内部参数矩阵M。

从而得到各个所述固定相机内部参数矩阵

其中(u₀,v₀)为图像主点坐标，f_x和f_y分别是图像像素坐标系下u轴和v轴的尺度因子，γ为u轴和v轴的不垂直因子。

优选地，所述畸变系数通过如下方程组Ⅳ，

其中k₁、k₂和k₃是镜头的径向失真系数，p₁和p₂为镜头的切向畸变系数，

优选地，S2步骤包括：

S21、投射有多道线结构光P₁至P_N于设有所述第一标定板上；

S22、在同一平面内多次移动所述第一标定板，光线不移动；每一次移动所述第一标定板，使得某列第一类同心圆靶标中心连线L₁和P₁相交，基于交比射影不变原理，求得L₁和P₁交点D₁；多次移动所述第一标定板后，获得同一条线结构光P₁与不同位置上的第一类同心圆靶标中心连线的交点D₁至D_N；

S23、通过不同交点D_N拟合获得线结构光P₁的光平面方程；

S24、利用步骤S21至S23的方式获得所有线结构光P₁至P_N的光平面方程。

优选地，S22具体包括如下：

连线L₁由某列第一类同心圆靶标中心A(X_aw,Y_aw,Z_aw)，B(X_bw,Y_bw,Z_bw)，C(X_cw,Y_cw,Z_cw)连线所得；p₁为光线P₁在图像坐标系中投影，l₁则是L₁在图像坐标系中投影，a(x_a,y_a)，b(x_b,y_b)，c(x_c,y_c)为A、B和C在图像坐标系中投影点；

D₁(X_dw,Y_dw,Z_dw)为连线L₁和光线P₁交点；d(x_d,y_d)为D₁在图像坐标系中投影点；

根据交比射影不变性，可得

由此求得D₁(X_dw,Y_dw,Z_dw)。

优选地，S3步骤包括：

S31、当所述移动相机移动至两所述固定相机时；先求出所述移动相机和一侧所述固定相机之间的外部参数矩阵[R_ml|t_ml]；再求出所述移动相机和另一侧所述固定相机之间的外部参数矩阵[R_rm|t_rm]；最终求得两侧固定相机之间外部参数矩阵：

S32、移动所述移动相机，基于S31依次获得所有相邻固定相机之间的外部参数矩阵；经转换后，获得其余固定相机至所述参考相机的外部参数矩阵[R_n1|t_n1]；

S33、最后通过系统重投影误差最小化对所得外部参数矩阵[R_n1|t_n1]进行优化。

优选地，S31步骤包括：

左侧的所述固定相机的外部参数矩阵[R_l|t_l]，所述移动相机为[R_r|t_r]；

第一类同心圆靶标中心点在世界坐标系下的坐标为P_wi，在左侧的固定相机坐标系下的坐标表示为P_li，移动相机坐标系下的坐标表示为P_mi，表示为公式

变换后可得P_mi＝[R_m(R_l)^-1]P_li+[t_mi-R_m(R_l)^-1t_li]

即左侧固定相机至移动相机外部参数矩阵为[R_ml|t_ml]；

同理可得右侧固定相机至移动相机外部参数矩阵为[R_rm|t_rm]；

设P_r为右侧固定相机坐标系下一点，其移动相机坐标系下的坐标可表示为P_m，则其在左侧固定相机坐标系下的坐标P_l可用如下公式

求解

并联立P_mi＝(R_mlR_rm)P_r+(R_mlt_rm+t_ml)

可得右侧固定相机坐标系到左侧固定相机坐标系的外部参数矩阵

优选地，S4包括：以所述导轨零位建立基坐标系O_b-X_bY_bZ_b坐标系；

假设喷嘴上安装有安装板，所述安装板上涂设有第二类同心圆靶标，其初始位置为i，将喷嘴位移至位置i+1；在位置i处，第二类同心圆靶标中心点从所述参考相机坐标系转换到末端执行坐标系的转换关系为公式Ⅴ

表示末端执行坐标系到基坐标系的转换关系；

表示第二标定板坐标系到末端执行坐标系的转换关系；

表示第二标定板坐标系到所述参考相机坐标系的转换关系；

表示所述参考相机坐标系到基坐标系的转换关系；

由于第二标定板坐标系与末端执行坐标系的相对关系固定不变可得公式Ⅵ，由公式Ⅴ以及Ⅵ可得：/>

即

由于所述参考相机坐标系与基坐标系相对位置固定不变，现设

最终得到

AX＝XB

A可由喷嘴相对于基坐标系的运动参数直接获得，B可由相机1坐标系定位第二标定板平面位姿获得，X即为待求的所述参考相机坐标系到基坐标系的外部参数矩阵。

如上所述，本发明涉及的视觉测量系统及路径规划方法，具有以下有益效果：

本发明通过设置多个相机单目标定能够实时调整固定相机的内部参数矩阵M和畸变系数，避免因为长时间使用导致因相机参数变化导致坐标测定错误，减少了维修成本和检测成本；另外，本发明设置的激光发射器能够通过确定光平面方程结合内部参数矩阵得到需要的测定的准确的像素坐标；另外，本发明通过设置多固定相机的多目标定方法得到各个固定相机之间的转换矩阵，从而使得测得的三维坐标能够在各个相机坐标系间进行转换，最后通过各所述固定相机至基坐标的转换矩阵得到基坐标系下坐标，从而控制喷嘴实行准确的切割。

附图说明

图1为本发明的视觉测量系统的结构示意图；

图2为第一标定板以及其上设有的第一类同心圆靶标图案示意图；

图3为第二标定板以及其上设有的第二类同心圆靶标图案示意图；

图4为由于相机透视投影导致的拍摄同心圆的离心偏差过程；

图5为本发明的一种连铸坯角部边缘缺陷清理的路径规划方法的S2中投影交比不变的示意图；

图6为本发明的视觉测量系统的所有固定相机以及移动相机的关系示意图。

元件标号说明

01 连铸坯

02 固定相机

1 相机1

2 相机2

3 相机3

4 相机4

5 相机5

6 相机6

7 相机7

8 移动相机

03 激光发射器

04 轨道

05 网络交换机

06 导轨

07 喷嘴

08 控制器

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

请参阅图1至图6。须知，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

如图1所示，本发明提供一种连铸坯角部边缘缺陷清理的视觉测量系统，包括：

多个沿连铸坯01长度方向等距布置的固定相机02、多个与固定相机02一一对应的激光发射器03、沿工件布置方向设置的轨道04、在轨道04上移动的移动相机8、网络交换机05、导轨06和于导轨06上移动的喷嘴07，激光发射器3向连铸坯1表面投射阵列布置的线结构光，每个固定相机2在连铸坯1表面的拍摄范围覆盖连铸坯1宽度方向的边缘，且相邻两个固定相机2的拍摄范围不具有拍摄重叠区域；固定相机2、移动相机5和激光发射器3都与网络交换机05相连，网络交换机05与控制器08信号相连。

本发明通过的固定相机2实现对连铸坯1表面的拍摄，从而拍摄出需要切割的连铸坯1的边缘点和角点；但是，由于连铸坯起始角点在固定相机2视场下的位置不确定，因此需要通过算法对边缘点和角点进行确定，具体在如下的路径规划方法中体现；另外，本发明通过设置的移动相机5能够帮助两相邻的固定相机2的坐标系进行转换；另外，本发明设置导轨06和喷嘴07能实现喷嘴07对连铸坯1的边缘点和角点的切割。

本发明还提供了一种连铸坯角部边缘缺陷清理的路径规划方法，采用如上述的视觉测量系统进行，包括以下步骤：

S1、根据设有矩形阵列的第一类同心圆靶标的第一标定板，如图2所示，进行单相机标定，确定各个固定相机02的外部参数矩阵[R|t]、内部参数矩阵M和畸变系数；

S2、激光发射器03投射多条线结构光，结合所述第一标定板，确定所有线结构光的光平面方程；

S3、移动相机8多次移动，使得每两个固定相机02之间均存在有一次所述移动相机8；借由两相邻固定相机02中移动相机8进行双目标定，由两相邻固定相机02各自的外部参数矩阵[R|t]，求得每两相邻固定相机02之间的外部参数矩阵[R_lr|t_lr]；

将某一固定相机02设为参考相机，最终求得其余所述固定相机至所述参考相机的外部参数矩阵[R_n1|t_n1]；

S4、求得所述参考相机坐标系到基坐标系的外部参数矩阵数矩阵[R_X|t_X]，并且由[R_X|t_X]乘以各个固定相机至所述参考相机的外部参数矩阵[R_n1|t_n1]，求得各所述固定相机(02)至基坐标的转换矩阵；

S5、喷嘴坐标标定，包括：

S51、各固定相机02对连铸坯01进行拍摄；

S52、根据单个固定相机02的内部参数矩阵M以及光平面方程，计算各个固定相机02坐标内连铸坯01的边缘点和角点的三维坐标；

S53、根据其余固定相机至参考相机的外部参数矩阵[R_n1|t_n1]，将连铸坯01的边缘点和角点在各相机坐标系的坐标转换至参考相机的坐标系下；

S54、根据参考相机坐标系至基坐标系的转换矩阵[R_X|t_X]，将连铸坯01的边缘点和角点在参考相机坐标系的坐标转换至基坐标系下；

S55、根据连铸坯01的边缘点和角点在基坐标系下的位置信息，控制喷嘴07的运动，完成切割。

上述的S1中，其关于各个固定相机02的固定相机02的外部参数矩阵[R|t]、内部参数矩阵M和畸变系数的求得方法如下：

如图1所示，于连铸坯1长度方向等距布置的数量为7个固定相机(1～7)，由左至右依次命名为第一固定相机1至第七固定相机7；以下为便于书写，采用如下书写方式：第一固定相机采用相机1，第二固定相机2采用相机2，依次类推；

采用第一标定板对相机1～相机7进行标定，如图2所示，以第一类同心圆靶标的中心为特征点，由于在相机透视成像中，第一类同心圆靶标的内外圆表现为两个中心分开的椭圆，如图4所示，因此首先需要对第一类同心圆靶标成像的椭圆对进行偏心误差校正。C(x,y)是第一类同心圆靶标的中心，r_o和r_i是外圆和内圆的半径；C'(x',y')是经过透视变换后C的透视点；C_o(x_o,y_o)和C_i(x_i,y_i)分别是外椭圆和内椭圆的中心。将外椭圆和内椭圆的偏心误差描述为

其中，K_x，K_y两个系数与第一类同心圆靶标半径r_o和r_i无关，并且对于第一类同心圆靶标内外圆是相等的。结合上述两个公式，可得第一类同心圆靶标真实投影中心点坐标：

相机1～相机7分别采集不同姿态的第一标定板的图像(标定板放置均处于同一平面)，并进行偏心误差校正，然后在图像上获取第一类同心圆靶标的真实投影中心点坐标(此时为像素坐标系)

p_ui(u_i,v_i,1),i＝1,2,3Kn (4)

由于第一标定板是定制的，第一类同心圆靶标物理位置及尺寸已知，故在第一标定板上建立世界坐标系，以下所称第一标定板均为阵列设有第一类同心圆靶标；即可得到第一类同心圆靶标中心点的世界坐标

P_wi(X_wi,Y_wi,Z_wi,1),i＝1,2,3Kn (5)

另外，根据现有技术中的相机成像模型式(6)，代入坐标集合p_ui(u_i,v_i,1)和P_wi(X_wi,Y_wi,Z_wi,1)；可得相机1～相机7的内部参数矩阵M和外部参数矩阵[R|t]，具体求解过程在此不加赘述。

该现有技术为A,Flexible,New,Technique,for,Camera,Calibration，作者Zhengyou,Zhang；具体参见如下网址：

https://www.microsoft.com/enus/research/？from＝http％3A％2F％2Fresearch.microsoft.com％2F％25cb％259czhang,；

sp_ui＝M[R|t]P_wi (6)

其中，s为比例因子，R和t为目标从世界坐标系到相机坐标系下的旋转矩阵和平移向量；

M为相机的内部参数矩阵，写作

其中(u₀,v₀)为图像主点坐标，f_x和f_y分别是图像像素坐标系下u轴和v轴的尺度因子，γ为u轴和v轴的不垂直因子。

考虑到相机镜头存在畸变，考虑径向畸变和切向畸变。设点P_wi的理想成像点p_i'在图像坐标系下的坐标为(x_i,y_i)(畸变校正前在图像坐标系所显示)，点P_wi的实际成像点p_i在图像坐标系下的坐标为(x_d,y_d)(畸变校正后在图像坐标系所显示)，根据以下畸变模型对图像畸变进行校正

其中k₁、k₂和k₃是镜头的径向失真系数，p₁和p₂为镜头的切向畸变系数，

综上所述，对不同姿态的第一标定板图像进行处理，即可解得单个相机的内部参数矩阵M和畸变系数k₁，k₂，k₃，p₁，p₂。

S2中具体对光平面方程的推导如下：

对激光发射器发出的所有线结构光的标定，获得所有线结构光的光平面方程。

具体地，本发明基于相机透视投影中，交比射影不变性这一原理，利用第一标定板平面实现线结构光标定，如图5所示，其中

实际操作时，相机拍摄投射有线结构光的标定板平面图像，进行处理，基于步骤S1所述方法检测第一类同心圆靶标中心图像坐标，并按行连接中心得到多条水平直线，在图像上检测线结构光中心线，获得中心线与所述水平直线的多个交点图像坐标，由于第一类同心圆靶标中心点的世界坐标已知，故可根据所述透视投影中的交比不变性获得交点的世界坐标，基于单目标定所得的世界坐标系到相机坐标系的转换矩阵，将交点的世界坐标转至相机坐标系下，多次操作，获得线结构光平面上多个点在相机坐标系下的三维坐标，即可拟合出线结构光的光平面方程。以相机1视场内的一线结构光68为例进行具体说明如下：

图5所示，结构光平面标定时，靶标平面上特征点A，B，C对应的图像点为a，b，c。结构光平面与靶标平面相交形成一条直线L₆₈，且直线L₆₈与直线E₁相交，交点为特征点D，对应的图像点为d。

设A(X_aw,Y_aw,Z_aw)，B(X_bw,Y_bw,Z_bw)，C(X_cw,Y_cw,Z_cw)，D(X_dw,Y_dw,Z_dw)为特征点A，B，C对应的世界坐标，a(x_a,y_a)，b(x_b,y_b)，c(x_c,y_c)，d(x_d,y_d)为特征点图像坐标。其中，a，b，c可以通过第一类同心圆靶标的中心定位得到，d点的图像坐标可以通过拟合直线L₆₈和直线E₁并求其交点获得。特征点A，B，C的世界坐标已知，则根据交比不变可得待测点D的世界坐标的求解公式：

依照此方法，在标定板平面上可作出多条类似的平行直线，沿着光平面的方向多次移动靶标平面，可以得到与直线L₆₈相交的多个不共线的特征点，从而拟合出光平面，在此过程中，要保证相机和激光器的位置不变。

同理，对每一根线结构光执行类似操作，即可获得线结构光68～线结构光123的光平面方程：

aX_wi+bY_wi+cZ_wi+d＝0 (12)

至此，可通过联立步骤S1所得的相机成像方程和步骤S2所得的光平面方程，求解光平面上任意一点在对应相机坐标系下的三维坐标。

S3中其余固定相机02至参考相机的外部参数矩阵[R_ml|t_ml]求得过程如下；

由于相机坐标系之间彼此独立，所测得的坐标不具有统一性，因此需要求解相机坐标系间的转换关系，将所得坐标统一转至参考相机坐标系下，在本发明所述系统中，将相 机1坐标系视作参考相机坐标系。增加移动相机8作为辅助相机进行多目标定，由于连铸坯实时智能切割路径规划任务具有大视场的特点，故将相机1～相机7进行线性排列，增大系统整体视场，相邻相机间无公共视场，为了便于实现多目标定，增加可移动的移动相机8，依次置于两个相邻相机之间，作为辅助工具间接获取相邻相机坐标系间的外部参数矩阵，获得相机2坐标系～相机7坐标系到相机1坐标系的外部参数矩阵，最后再通过系统重投影误差最小化对所得外部参数矩阵进行优化，完成标定，流程示意如图6所示。以相机1和相机2为例进行具体说明如下。

如图6所示，相机1与相机2之间无公共视场，无法直接通过双目标定获得相机2坐标系到相机1坐标系的外部参数矩阵，因此，将移动相机8安装在相机1与相机2之间，此时，移动相机8分别与相机1和相机2拥有较大的公共视场，首先对移动相机8和相机1进行双目标定，获得移动相机8坐标系到相机1坐标系的外部参数矩阵[R₈₁|t₈₁]，然后对移动相机8和相机2进行双目标定，获得相机2坐标系到移动相机8坐标系的外部参数矩阵[R₂₈|t₂₈]，基于双目标定所得的[R₈₁|t₈₁]和[R₂₈|t₂₈]，即可获得相机2坐标系到相机1坐标系的外部参数矩阵。

以相机1和移动相机8为例，对双目标定方法作出具体说明如下：

采用第一类同心圆靶标平面靶标，基于步骤S11所述的单目标定，可分别获得目标从世界坐标系(即步骤S11所述的建立在第一标定板上的坐标系)到相机1坐标系和移动相机8坐标系的外部参数矩阵[R_l|t_l]和[R_r|t_r]，第一类同心圆靶标的中心点在世界坐标系下的坐标为P_wi，在相机1坐标系下的坐标表示为P_li，移动相机坐标系下的坐标表示为P_mi，则可表示为

对公式(13)进行变换，可表示为

两式相减，得

(R_l)^-1·(P_li-t_li)-(R_r)^-1·(P_ri-t_ri)＝0 (15)

同乘以R_r

R_r(R_l)^-1·(P_li-t_li)-(P_ri-t_ri)＝0 (16)

P_ri＝R_r(R_l)^-1·(P_li-t_li)+t_ri (17)

变换后可得

P_ri＝[R_r(R_l)^-1]P_li+[t_ri-R_r(R_l)^-1t_li] (18)

由此，可解得移动相机8坐标系到相机1坐标系的外部参数矩阵

具体操作时，相机1和移动相机8同时采集不同姿态的第一标定板图像，选取公共视场内的平面第一类同心圆靶标的中心点作为特征点，基于所述的双目标定方法获得移动相机8坐标系到相机1坐标系的外部参数矩阵[R₈₁|t₈₁]，同理，可获得相机2坐标系到移动相机8坐标系的外部参数矩阵[R₂₈|t₂₈]。

设P₂为相机2坐标系下一点，其在移动相机8坐标系下的坐标可表示为P₈，则其在相机1坐标系下的坐标P₁可用如下方式求解

联立解得

P₁＝(R₈₁P₂₈)P₂+R₈₁t₂₈+t₈₁ (21)

由此，可解得相机2坐标系到相机1坐标的外部参数矩阵

至此，完成了相机1坐标系和相机2坐标系之间的外部参数矩阵标定。同理，移动相机8，基于所述多目标定方法依次获得相机2坐标系～相机7坐标系到相机1坐标系的外部参数矩阵。

为了提高标定精度，在进行多目标定时，需对重投影误差E_rms进行计算，公式如下

其中，(x_u，y_u)是真实提取的像素坐标，是将已知空间三维坐标的特征点按照已标定的相机参数重投回图像平面，得到重投点的像素坐标。/>

对于本发明中的系统，总的RMS可作如下表示

E_{rms_total}＝E_{rms_81}+E_{rms_28}+E_{rms_82}+E_{rms_38}+…+E_{rms_78} (24)

使用LM算法对E_{rms_total}进行最小值求解，通过E_{rms_total}的最小值对标定所得的旋转矩阵R和平移向量T进行优化，得到最终的标定结果。

至此，基于步骤S1求解的相机成像方程公式(6)、步骤S2求解的光平面方程(12)和步骤S33求解的相机2坐标系～相机7坐标系到相机1的坐标系的转换矩阵，拍摄投射有线结构光的连铸坯图像，进行处理，可得到对应光平面方程参数(A_l，B_l，C_l，D_l)在图像中的坐标点p(u，v)在参考相机坐标系下的三维坐标P_c(X_c，Y_c，Z_c)公式如下

S4中相机1坐标系与基坐标系的标定，获得相机1坐标系到基坐标系即喷嘴07的坐标系的外部参数矩阵。

具体地，在实际操作时，控制喷嘴07的运动一般是以导轨零位作为参照的，因此需要获得相机1坐标系到基坐标系的外部参数矩阵，从而将前述步骤S1、S2、S3所得的三维坐标转换至导轨08基坐标系下。以导轨08上零位为原点建立基坐标系O_b-X_bY_bZ_b，并在喷嘴07上方粘贴第二标定板。第二标定板上设有第二类同心圆靶标，如图3所示，具体地，第二类同心圆靶标外设有黑色矩形边框，在第二类同心圆靶标的黑色环带上阵列布有8个白色小圆，小圆的中心均匀分布在同一半径的圆周上，矩形框的中心与小圆阵列的中心以及第二类同心圆靶标的中心在同一点上，如图3所示。坐标系建立原则，一为以该第二标定板上第二类同心圆靶标中心为原点，选取与第二类同心圆靶标的中心连线夹角为90度的两个小圆作为X，Y轴的正方向建立第二标定板坐标系；二为将矩形黑框的内部角点提取并设置在Z＝0的平面上，以矩形中心(即第二类同心圆靶标的中心)为坐标系原点，按照标定板图片的规格尺寸确定其X，Y坐标值，建立第二标定板坐标系。故所述第二类同心圆靶标的白色小圆以及矩形外框设置均用于辅助三维坐标系建立Z＝0的平面。设置移动喷嘴07，使第二标定板上第二类同心圆靶标的中心依次经过线结构光68和其余线结构光并拍摄图像，对图像进行处理，获得相机1坐标系到基坐标系的外部参数矩阵。

在喷嘴07上建立末端执行坐标系O_t-X_tY_tZ_t，所述末端执行坐标系与第二标定板坐标系(以该第二标定板上第二类同心圆靶标的中心为原点的坐标系)同时移动但相对位置不变，基坐标系与相机1坐标系相对位置不变。所述坐标系间的转换关系可作如下表示：

表示末端执行坐标系到基坐标系的转换关系；

表示第二标定板坐标系到末端执行坐标系的转换关系；

表示第二标定板坐标系到所述参考相机坐标系的转换关系；

表示所述参考相机坐标系到基坐标系的转换关系；/>

所述转换关系均为4×4齐次变换矩阵，可用旋转矩阵R和平移向量T描述，即

假设喷嘴07上安装有第二标定板，该第二标定板上的第二类同心圆靶标其初始位置为i，将喷嘴07位移至位置i+1(注意：位置i和位置i+1均默认符合第二类同心圆靶标中心在线结构光平面上这一条件。根据各部分转换关系可得，在位置i处，第二类同心圆靶标中心点从相机1坐标系转换到末端执行坐标系的转换关系为

其中，在位置i+1处，第二类同心圆靶标中心点从相机1坐标系转换到末端执行坐标系的转换关系为

其中，

由第二标定板坐标系与末端执行坐标系的相对关系固定不变可知

则易得

整理得

由于相机1坐标系与基坐标系相对位置固定不变，现设

整理可得

AX＝XB (34)

其中，A可由喷嘴07相对于基坐标系的运动参数直接获得，B可由相机1坐标系定位第二类同心圆靶标平面位姿获得，X即为待求的相机1坐标系到基坐标系的外部参数矩阵。

至此，基于所述单目标定、线结构光标定、多目标定和相机1坐标系到基坐标系的标定，可获得单个固定相机02内部参数矩阵M和畸变系数、线结构光平面方程、多个固定相机02坐标系到参考相机坐标系的转换矩阵、参考相机坐标系到基坐标系的转换矩阵；

实际操作时，各个固定相机02拍摄连铸坯01，此时连铸坯01上扔投射有上述已经测定光平面方程的多道线结构光。

控制器08会对拍摄图像进行处理，从而获得连铸坯角点及边缘点的像素坐标；随后，根据单个固定相机02的内部参数矩阵M以及光平面方程，以及求得的像素坐标，计算得到各个固定相机02坐标内连铸坯(01)的边缘点和角点的三维坐标；

根据多目标定方法(即步骤S3)，根据其余固定相机转换至参考相机的外部参数矩阵[R_n1|t_n1]，将连铸坯01的边缘点和角点在各相机坐标系的坐标转换至参考相机的坐标系下；根据参考相机坐标系至基坐标系的转换矩阵，将连铸坯01的边缘点和角点在参考相机坐标系的坐标转换至基坐标系下；根据连铸坯01的边缘点和角点在基坐标系下的位置信息，控制喷嘴07的运动，完成切割。

综上所述，本发明通过设置多个相机单目标定能够实时调整固定相机02的内部参数矩阵M和畸变系数，避免因为长时间使用导致因相机参数变化导致坐标测定错误，减少了维修成本和检测成本；另外，本发明设置的激光发射器能够通过确定光平面方程结合内部参数矩阵得到需要的测定的准确的像素坐标；另外，本发明通过设置多固定相机02的多目标定方法得到各个固定相机之间的转矩矩阵，从而使得测得的三维坐标能够在各个相机坐标系间进行转换，最后通过各所述固定相机02至基坐标的转换矩阵得到基坐标系下坐标，从而控制喷嘴07实行准确的切割。

所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种连铸坯角部边缘缺陷清理的视觉测量系统，用于对连铸坯(01)角部边缘进行视觉测量，其特征在于：包括多个沿连铸坯(01)长度方向等距布置的固定相机(02)、多个与固定相机(02)一一对应的激光发射器(03)、沿工件布置方向设置的轨道(04)、在轨道(04)上移动的移动相机(8)、网络交换机(05)、导轨(06)和于导轨(06)上移动的喷嘴(07)，所述激光发射器(03)向连铸坯(01)表面投射阵列布置的线结构光，每个固定相机(02)在连铸坯(01)表面的拍摄范围覆盖连铸坯(01)宽度方向的边缘，且相邻两个固定相机(02)的拍摄范围不具有拍摄重叠区域；所述固定相机(02)、所述移动相机(8)和激光发射器(03)都与网络交换机(05)相连，所述网络交换机(05)与控制器(08)信号相连。

2.一种连铸坯角部边缘缺陷清理的路径规划方法，其特征在于：采用如权利要求1所述的视觉测量系统进行，包括以下步骤：

S1、第一标定板上设有矩形阵列的多个第一类同心圆靶标，根据所述第一标定板进行单相机标定，确定各个所述固定相机(02)的外部参数矩阵[R|t]、内部参数矩阵M和畸变系数；

S2、激光发射器(03)投射多条线结构光，结合所述第一标定板，确定所有线结构光的光平面方程；

S3、所述移动相机(8)多次移动，使得每两个固定相机(02)之间均存在有一次所述移动相机(8)；借由两相邻固定相机(02)中移动相机(8)进行双目标定，由两相邻固定相机到移动相机之间的外部参数矩阵[R|t]，求得每两相邻固定相机(02)之间的外部参数矩阵[R_lr|t_lr]；

将某一固定相机(02)设为参考相机，最终求得其余所述固定相机至所述参考相机的外部参数矩阵[R_n1|t_n1]；

S4、求得所述参考相机坐标系到基坐标系的外部参数矩阵[R_X|t_X]，并且由[R_X|t_X]乘以各个固定相机至所述参考相机的外部参数矩阵[R_n1|t_n1]，求得各所述固定相机(02)至基坐标的转换矩阵；

S5、喷嘴坐标标定，包括：

S51、各所述固定相机(02)对所述连铸坯(01)进行拍摄；

S52、根据单个固定相机(02)的内部参数矩阵M以及光平面方程，计算各个固定相机(02)坐标内所述连铸坯(01)的边缘点和角点的三维坐标；

S53、根据其余所述固定相机至所述参考相机的外部参数矩阵[R_n1|t_n1]，将所述连铸坯(01)的边缘点和角点在所述各相机坐标系的坐标转换至所述参考相机的坐标系下；

S54、根据所述参考相机坐标系至基坐标系的转换矩阵[R_X|t_X]，将所述连铸坯(01)的边缘点和角点在所述参考相机坐标系的坐标转换至基坐标系下；

S55、根据所述连铸坯(01)的边缘点和角点在基坐标系下的位置信息，控制喷嘴(07)的运动，完成火焰清理。

3.根据权利要求2一种连铸坯角部边缘缺陷清理的路径规划方法，其特征在于，S1步骤包括：获得已知的第一类同心圆靶标中心C(x,y)，以及外圆半径r_o和内圆半径r_i；并由待测所述固定相机(02)获得像素坐标系的外椭圆中心C_o(x,y)和内椭圆中心C_i(x,y)，并由公式Ⅰ以及公式/>联立，求得第一类同心圆靶标中心在像素坐标系的真实的坐标公式Ⅲ/>所有固定相机(02)分别采集不同姿态的所述第一标定板，经由公式Ⅲ，得到第一类同心圆靶标在像素坐标系下的实际坐标集合p_ui(u_i,v_i,1),i＝1,2,3Kn；另外由预设数据得到相应的第一类同心圆靶标在世界坐标的坐标集合P_wi(X_wi,Y_wi,Z_wi,1),i＝1,2,3Kn；

将p_ui(u_i,v_i,1),P_wi(X_wi,Y_wi,Z_wi,1)坐标集合代入至已知的相机成像模型sp_ui＝M[R|t]P_wi，从而得到各个所述固定相机(02)的外部参数矩阵[R|t]和各个所述固定相机(02)的内部参数矩阵M。

从而得到各个所述固定相机(02)内部参数矩阵

其中(u₀,v₀)为图像主点坐标，f_x和f_y分别是图像像素坐标系下u轴和v轴的尺度因子，γ为u轴和v轴的不垂直因子。

4.根据权利要求2一种连铸坯角部边缘缺陷清理的路径规划方法，其特征在于，所述畸变系数通过如下方程组Ⅳ，

其中k₁、k₂和k₃是镜头的径向失真系数，p₁和p₂为镜头的切向畸变系数，

5.根据权利要求2一种连铸坯角部边缘缺陷清理的路径规划方法，其特征在于，S2步骤包括：

S21、投射有多道线结构光P₁至P_N于设有所述第一标定板上；

S22、在同一平面内多次移动所述第一标定板，光线不移动；每一次移动所述第一标定板，使得某列第一类同心圆靶标中心连线L₁和P₁相交，基于交比射影不变原理，求得L₁和P₁交点D₁；多次移动所述第一标定板后，获得同一条线结构光P₁与不同位置上的第一类同心圆靶标中心连线的交点D₁至D_N；

S23、通过不同交点D_N拟合获得线结构光P₁的光平面方程；

S24、利用步骤S21至S23的方式获得所有线结构光P₁至P_N的光平面方程。

6.根据权利要求5一种连铸坯角部边缘缺陷清理的路径规划方法，其特征在于，S22具体包括如下：

连线L₁由某列第一类同心圆靶标中心A(X_aw,Y_aw,Z_aw)，B(X_bw,Y_bw,Z_bw)，C(X_cw,Y_cw,Z_cw)连线所得；p₁为光线P₁在图像坐标系中投影，l₁则是L₁在图像坐标系中投影，a(x_a,y_a)，b(x_b,y_b)，c(x_c,y_c)为A、B和C在图像坐标系中投影点；

D₁(X_dw,Y_dw,Z_dw)为连线L₁和光线P₁交点；d(x_d,y_d)为D₁在图像坐标系中投影点；

根据交比射影不变性，可得

由此求得D₁(X_dw,Y_dw,Z_dw)。

7.根据权利要求2一种连铸坯角部边缘缺陷清理的路径规划方法，其特征在于，S3步骤包括：

S31、当所述移动相机(8)移动至两所述固定相机(02)时；先求出所述移动相机(8)和一侧所述固定相机(02)之间的外部参数矩阵[R_ml|t_ml]；再求出所述移动相机(8)和另一侧所述固定相机(02)之间的外部参数矩阵[R_rm|t_rm]；最终求得两侧固定相机(02)之间外部参数矩阵：

S32、移动所述移动相机(8)，基于S31依次获得所有相邻固定相机之间的外部参数矩阵；

经转换后，获得其余固定相机(02)至所述参考相机的外部参数矩阵[R_n1|t_n1]；

S33、最后通过系统重投影误差最小化对所得外部参数矩阵[R_n1|t_n1]进行优化。

8.根据权利要求7一种连铸坯角部边缘缺陷清理的路径规划方法，其特征在于，S31步骤包括：

左侧的所述固定相机(02)的外部参数矩阵[R_l|t_l]，所述移动相机为[R_r|t_r]；

第一类同心圆靶标中心点在世界坐标系下的坐标为P_wi，在左侧的固定相机(02)坐标系下的坐标表示为P_li，移动相机(8)坐标系下的坐标表示为P_mi，表示为公式

变换后可得

即左侧固定相机(02)至移动相机(8)外部参数矩阵为[R_ml|t_ml]；

同理可得右侧固定相机(02)至移动相机(8)外部参数矩阵为[R_rm|t_rm]；

设P_r为右侧固定相机(02)坐标系下一点，其移动相机(8)坐标系下的坐标可表示为P_m，则其在左侧固定相机(02)坐标系下的坐标P_l可用如下公式

求解

并联立P_mi＝(R_mlR_rm)P_r+(R_mlt_rm+t_ml)

可得右侧固定相机(02)坐标系到左侧固定相机(02)坐标系的外部参数矩阵

9.根据权利要求2一种连铸坯角部边缘缺陷清理的路径规划方法，其特征在于，

S4包括：以所述导轨(08)零位建立基坐标系O_b-X_bY_bZ_b坐标系；

假设喷嘴(07)上安装有安装板，所述安装板上涂设有第二类同心圆靶标，其初始位置为i，将喷嘴(07)位移至位置i+1；在位置i处，第二类同心圆靶标中心点从所述参考相机坐标系转换到末端执行坐标系的转换关系为公式Ⅴ

表示末端执行坐标系到基坐标系的转换关系；

表示第二标定板坐标系到末端执行坐标系的转换关系；

表示第二标定板坐标系到所述参考相机坐标系的转换关系；

表示所述参考相机坐标系到基坐标系的转换关系；

由于第二标定板坐标系与末端执行坐标系的相对关系固定不变可得公式Ⅵ，

由公式Ⅴ以及Ⅵ可得：

即

由于所述参考相机坐标系与基坐标系相对位置固定不变，现设

最终得到

AX＝XB

A可由喷嘴(07)相对于基坐标系的运动参数直接获得，B可由相机1坐标系定位第二标定板平面位姿获得，X即为待求的所述参考相机坐标系到基坐标系的外部参数矩阵。