CN113269749B - 带材位置图像数据集采集方法及其视觉检测方法 - Google Patents

Abstract

本发明公开了一种带材位置图像数据集采集方法及其视觉检测方法，属于冶金轧制技术领域。该方法首先模拟带材轧制生产现场环境搭建了图像采集装置，并在多角度、多明暗等条件下采集大量不同位置的带材图像数据，制作成数据集；其次根据机器视觉理论对带材图像设计了特定的预处理和图像增强操作流程；最终通过建立分割模型完成图像中带材位置的检测，并计算出带材偏离辊道中心线数值。该方法无需安装复杂的检测机构，成本较低，检测精度高，执行速度快，能够满足生产要求，对实现带材精确、快速的自动化纠偏具有重要意义；对提高产品质量，提升装备国产化智能化水平具有重要意义。

Description

带材位置图像数据集采集方法及其视觉检测方法

技术领域

本发明属于冶金轧制技术领域，特别涉及一种带材位置图像数据集采集方法及其视觉检测方法。

背景技术

带材在轧制生产过程中由于存在板形缺陷和设备安装误差等，会使带材中心线经常偏离辊道中心线，不仅严重影响产品精度，甚至可能造成断带生产事故。当带材位置发生偏离时需及时采取纠正手段，使其回到正常状态。为此，想要自动控制带材跑偏，首先必须实现对带材位置实时精准检测，因此研究设计一种新型、高精度、高速度的带材位置检测方法具有重要意义。

目前关于带材位置检测已有部分相关研究，例如：“基于主成分分析BP神经网络的热精轧带钢跑偏预测研究”(《山东冶金》2019，第41卷第4期：44-47)该方法提出了一种基于主成分分析和BP神经网络组合模型用于预测带钢跑偏。“基于数据驱动的铝热连轧跑偏预测建模与纠偏控制方法”(《中南大学硕士学位论文》2014)该方法分析了铝板带在热连轧现场生产工艺过程、设备参数和监控量和精轧过程跑偏基本规律，根据主要因素采用互不相关的输入变量建立了跑偏过程的神经网络预测模型。“根据板形辊所测径向力确定带钢宽度与带钢跑偏量的方法”(《中国申请》2017，CN107127218A)该方法设定一个检测力阈值，从板形仪两侧分别向中心逐个通道搜索，找到两个边部通道即第一个大于检测力阈值的通道，再通过曲线拟合的方式确定两个边部通道的覆盖率，进而得到带材跑偏量。

截止目前，现有文献关于带材位置监测方法大多采用传感器等硬件设备或是根据轧制参数来设定阈值计算带材位置，这些方法成本较高，且需要额外的安装空间，检测精度低，很难实际应用。为此，本发明首先提出了一种模拟轧制过程中带材位置图像数据集的采集方法，然后利用此数据集基于机器视觉理论建立了一种带材位置图像视觉检测方法。

发明内容

本发明所解决的技术问题在于解决了轧制过程中带材位置的检测问题，利用机器视觉理论对带材图像进行分割并识别其带材位置，其检测精度能够满足工业要求，对后续带材的纠偏就有重要意义。

为了实现以上发明目的，本发明提出了一种带材位置图像数据集采集方法，包括以下步骤：

a1、搭建采集带材位置图像数据的环境：a11、搭建模拟辊道，在地面相距W_roller的距离位置处平行粘贴黄色标志线，以此模拟辊道两侧边部，并规定左侧为操作侧，右侧为传动侧；a12、分别选取多种表面光洁程度和带有不同程度锈迹和氧化皮带材，带材实际宽度为B_strip、长度为L_strip，将带材放置于模拟辊道的黄色标志物中间，模拟带材轧制过程；a2、采集带材位置图像数据，利用三脚架装置固定摄像头，调整三脚架固定摄像头位置与地面高度为H，拍摄不同角度的数据集，固定摄像头与地面呈垂直角度拍摄N张带材位置图像数据，调整摄像头与地面呈θ角度，其中θ＝15°、30°、45°和75°，每个角度拍摄N张带材位置图像数据；a3、在紧贴模拟辊道的黄色标志物上侧固定放置一副标尺，以其零刻度对齐辊道中心点位置，标尺精度为1mm，用于测量带材的位置量，首先将带材放置于辊道中间位置，然后将带材向操作侧移动，每次移动量为d，直至带材触碰到操作侧辊道，每次移动带材后利用固定好的摄像头以与地面呈垂直角度和与地面呈θ角度拍摄带材位置图像，并根据标尺测量出偏移辊道中心的距离并记录；然后将带材移回辊道中间位置，将带材向传动侧移动，每次移动量为d，直至带材触碰到传动侧辊道，每次移动带材后利用固定好的摄像头以与地面呈垂直角度和与地面呈θ角度拍摄带材位置图像，并根据标尺测量出偏移辊道中心的距离并记录；a4、完成采集后会得到摄像头与地面呈垂直角度拍摄以及和地面呈不同θ角度拍摄的带材位置图像及其对应偏移量的数据集记为Dataset。

本发明的第二方面提供一种利用前述带材位置图像数据集采集方法的带材位置图像视觉检测方法，其包括以下步骤：

b、建立带材位置检测分割模型，对带材图像数据集Dataset的处理过程为：

b1、首先判断带材位置图像I的拍摄角度，若与地面呈垂直角度拍摄则进入步骤b3，否则进入b2；

b2、利用透视变换原理对拍摄的三维空间图像进行图像校正；首先取原始图像I上的4个点，进行图像校正需要选取一个参照物，选取一张存在完整带材的倾斜角度拍摄的带材位置图像I并取图像上带材的四个原始角点为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，然后需要确定带材在透视变换后得到的新坐标系图像上的4个目标点(x′₁,y′₁)、(x′₂,y′₂)、(x′₃,y′₃)、(x′₄,y′₄)；带材目标点(x′,y′)根据公式

转换成空间坐标(u,v,w)，然后根据透视变换公式

求解出变换矩阵T，其中

根据透视变换矩阵T将图像所有点投影到新平面，变换后的结果记为I_transform；

b3、对经过透视变换b2步骤处理后的I_transform和呈垂直角度拍摄的带材位置图像I进行图像分割处理；

c、根据分割结果I_seg计算带材距辊道中心的偏移距离，具体的执行步骤为：

c1、将步骤b31分割后的图像结果I_seg转换成二维矩阵M_seg，并得到二维矩阵M_seg的高h和宽w，其中二维矩阵M_seg中的值为分割图像I_seg中各点处的灰度值G_(i,_j)(i＝1～h,j＝1～w)；

c2、将二维矩阵M_seg的高h四等分，分别取

作为提取图像中带材位置的基准高度，其中

为向下取整符号；

c3、取出二维矩阵M_seg在基准高度H₁、H₂、H₃、H₄上表示带材位置的标号；

c4、得到矩阵M_seg的四个基准高度上保存有带材位置的集合

其中元素

和

分别代表带材在图像上左右两端位置标号，为减小误差，计算四个基准高度上带材位置标号的平均值，带材左侧位置标号为

带材右侧位置标号为

c5、由于步骤b31已经将图像进行裁剪，所以图像左右两侧即代表操作侧和传动侧，计算带材在图像中的宽度，记为B_stripImg＝P_right-P_left；计算图像中带材距操作侧辊道距离为D_left＝P_left-0，计算图像中带材距传动侧辊道距离为D_right＝w-P_right；

c6、计算图像与实际尺寸之间的比例尺，已知实际带材宽度为B_strip，比例因子记为：Q＝B_strip/B_stripImg，单位为mm/pixel；

c7、计算实际带材的位置，记为E＝(D_left-D_right)×Q，若E大于零代表带材向传动侧辊道发生位置偏离，反之，代表向操作侧辊道发生位置偏离。

优选地，所述b3包括以下步骤：

b31、在垂直拍摄的原始带材图像I和b2步骤处理后的I_transform中，将模拟辊道的黄色标志物也采集到了图像中，而这一部分属于背景是不需要的，所以对图像进行裁剪处理，裁剪到黄色贴纸内侧最边缘像素即为模拟辊道边缘，裁剪后的图像记为I_crop，尺寸大小为A×B；

b32、对步骤b31裁剪后的图像I_crop进行图像增强处理；

b33、对图像I_aug进行阈值分割处理，设置的分割阈值shreshold，分割出图像中的带材，得到分割结果I_seg。

优选地，所述b32包括以下步骤：

b321、调整图像色阶，根据带材和辊道的背景，灰场数值Mid设置为1，黑场数值Shadow范围在50-100之间调整，白场数值Highlight范围在50-100之间调整；

b322、图像进行滤波处理，采用中值滤波器去掉原图像上锈迹氧化物等无用噪声，中值滤波核大小范围选定在80-120之间，滤波后再对图像进行灰度化处理，将其转换成单通道图像数据，增强后的图像记为I_aug。

优选地，所述c3包括以下步骤：

c31、创建用于保存带材在图像四个基准高度上带材位置标号的集合S^t(t＝1,2,3,4)，其中变量t代表不同的基准高度，

为集合S^t中的子元素，设置循环变量v，并令t＝1，v＝1；

c32、判断矩阵M_seg在坐标(H_t,v)处的灰度值

是否成立，若成立，表示矩阵M_seg在此坐标处存在带材并转到步骤c33，若不成立，转到步骤c34；

c33、将当前变量v的值保存为集合S^t的元素；

c34、令变量v＝v+1；

c35、判断v＝w是否成立，若成立表示在基准高度H_t上搜索完成并转到步骤c36，若不成立转到步骤c32；

c36、得到当前基准高度H_t上保存有带材位置标号的集合S^t；

c37、令v＝1和t＝t+1；

c38、判断t＝4是否成立，若成立，完成四个基准高度带材位置标号的采集并转到步骤c4，若不成立，转到步骤c32。

与现有技术相比，本发明具有以下有益效果：

(1)本发明提出了一种带材位置检测图像数据集的采集方法，然后利用此数据集基于机器视觉理论建立了一种带材位置图像视觉检测方法，能够实时在线检测带材中心线偏离辊道中心线的距离；

(2)该方法无需复杂的硬件设备、检测精度高、执行速度快，对带材精确、快速的自动化纠偏具有重要意义。

附图说明

图1为本发明的整体执行流程图；

图2为实施例1垂直图像分割各阶段流程图；

图3为带材位置标号检测执行流程图；

图4为取图像基准高度示意图；

图5为实施例2倾斜图像分割各阶段流程图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部实施例。通常在此处附图中描述和展示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明实施例的详细描述并非旨在限制本发明要求保护的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的其他所有实施例，都属于本发明保护的范围。

下面结合附图与具体实施方式对本发明提出的一种带材位置图像数据集采集方法及其视觉检测方法进行更进一步的说明。

实施例1为摄像机呈垂直角度采集带材位置数据集采集过程及其位置的检测过程，如图1所示：

a、带材位置图像数据集的采集，首先搭建采集带材位置图像数据的环境，在地面相距W_roller＝227mm的距离位置处平行粘贴黄色标志线，以此模拟辊道两侧边部，并规定左侧为操作侧，右侧为传动侧；选取多种表面光洁程度和带有不同程度锈迹和氧化物带材，以此模拟带材轧制时真实情况，带材实际宽度为B_strip＝98mm，长度为L_strip＝1250mm。将带材放置于模拟辊道的黄色标志物中间，模拟带材轧制过程。采集带材位置图像数据，利用三脚架装置固定摄像头，调整三脚架固定摄像头与地面高度为H＝1000mm，利用三脚架的镜头角度调整装置调整摄像拍摄角度与地面垂直，在紧贴模拟辊道的黄色标志物上侧固定放置一副标尺，以其零刻度对齐辊道中心点位置，标尺精度为1mm，用于测量带材的位置量，首先将带材放置于辊道中间位置，然后将带材向辊道操作侧移动，每次移动量为d＝2(mm)，直至带材触碰到操作侧辊道，每次移动带材后利用固定好的摄像头拍摄带材此时的位置图像并根据标尺测量出偏移辊道中心的距离并记录。然后将带材移回辊道中间位置，将带材向传动侧移动，每次移动量也为d＝2(mm)，直至带材触碰到传动侧辊道，每次移动带材后利用摄像头拍摄带材此时的位置图像并根据标尺测量出偏移辊道中心的距离并记录。完成采集后会得到摄像头垂直拍摄的带材位置图像及其对应的偏移量的数据存入数据集Dataset；

b、建立带材位置检测分割模型，对垂直拍摄的带材位置数据的图像进行分割，其中图像分割的各个阶段处理结果如图2所示，具体的执行步骤为：

b1、判断带材位置图像的拍摄角度，带材位置图像I与地面呈垂直拍摄角度，直接进入步骤b3；

b3、对垂直拍摄的带材位置图像I进行图像分割处理，具体的执行步骤为：

b31、带材位置图像I中将模拟辊道的黄色贴纸也采集到了图像中，而这一部分属于背景是不需要的，所以对图像进行裁剪处理，裁剪到黄色贴纸内侧最边缘像素即辊道边缘，裁剪后的图像记为I_crop，尺寸大小为3246×5791；

b32、对裁剪后的图像I_crop进行图像增强，调整图像色阶，根据带材和辊道的背景，灰场Mid数值设置为1，黑场Shadow数值设置为90，白场Hightlight数值设置为88。采用中值滤波器去掉图像上锈迹氧化物等无用噪声，中值滤波器滤波核设置为115，滤波后再对图像进行灰度化处理，将其转换成单通道图像数据，增强后的图像记为I_aug；

b33、对图像I_aug进行阈值分割处理，分割阈值shreshold设置为245，分割出图像中的带材，得到分割结果I_seg；

c、根据分割结果I_seg计算带材距辊道中心的偏移距离，执行流程图如图3所示，具体的执行步骤为：

c1、将步骤b34分割后的图像结果I_seg转换成二维矩阵M_seg，并得到二维矩阵M_seg的高h＝5791和宽w＝3246，其中二维矩阵M_seg中的值为灰度图像中各点处的灰度值G_(i,j)(i＝1～h,j＝1～w)；

c2、将二维矩阵M_seg的高h四等分，基准高度提取示意图如图4所示，分别取

作为提取图像中带材位置的基准高度，其中

为向下取整符号；

c3、取出二维矩阵M_seg在基准高度H₁、H₂、H₃、H₄上表示带材位置的标号，具体的执行步骤为：

c31、创建用于保存带材在图像四个基准高度上带材位置标号的集合S^t(t＝1,2,3,4)，其中变量t代表不同的基准高度，

代表集合S^t中的子元素，设置循环变量v并令t＝1，v＝1；

c32、判断矩阵M_seg在坐标(H_t,v)处的灰度值

是否成立，若成立，表示矩阵M_seg在此坐标处存在带材并转到步骤c33，若不成立，转到步骤c34；

c33、将当前变量v的值保存为集合S^t的元素；

c34、令变量v＝v+1；

c35、判断v＝w是否成立，若成立表示在基准高度H_t上搜索完成并转到步骤c36，若不成立转到步骤c32；

c36、得到当前基准高度上保存有带材位置的标号集合S^t；

c37、令v＝1和t＝t+1；

c38、判断t＝4是否成立，若成立，完成四个基准高度带材位置标号的采集并转到步骤c4，若不成立，转到步骤c32；

c4、得到矩阵M_seg的四个基准高度上保存有带材位置的集合

其中元素

和

分别代表带材在图像上左右两端位置标号，为减小误差，计算四个基准高度上带材位置标号的平均值，带材左侧位置标号为

带材右侧位置标号为

c5、由于步骤b31已经将图像进行裁剪，所以图像左右两侧即代表辊道两侧，计算带材在图像中的尺寸，记为B_stripImg＝P_right-P_left＝1454(pixel)；计算图像中带材距操作侧辊道距离为D_left＝P_left-0＝1323(pixel)，计算图像中带材距传动侧辊道距离为D_right＝w-P_right＝469(pixel)；

c6、计算图像与实际尺寸之间的比例尺，已知实际带材宽度为B_strip，比例因子记为：Q＝B_strip/B_stripImg＝0.067(mm/pixel)；

c7、计算实际带材位置，记为E＝(D_left-D_right)×Q＝57.56(mm)，代表带材中心线向传动侧辊道发生偏离，偏离量为57.56mm；

实施例2为倾斜角度下，采集带材位置数据集采集过程及其位置的检测过程。

a、带材位置图像数据集的采集，首先搭建采集带材位置图像数据的环境，在地面相距W_roller＝227mm的距离位置处平行粘贴黄色标志线，以此模拟辊道两侧边部，并规定左侧为操作侧，右侧为传动侧；选取多种表面光洁程度和带有不同程度锈迹氧化物带材，以此模拟带材轧制时真实情况，带材实际宽度为B_strip＝98mm，长度为L_strip＝1250mm。将带材放置于模拟辊道的黄色标志物中间，模拟带材轧制过程。采集带材位置图像数据，利用三脚架装置固定摄像头，调整三脚架固定摄像头与地面高度为H＝1000mm，利用三脚架的镜头角度调整装置调整摄像拍摄角度与地面呈θ＝45°，在紧贴模拟辊道的黄色标志物上侧固定放置一副标尺，以其零刻度对齐辊道中心点位置，标尺精度为1mm，用于测量带材的位置量，首先将带材放置于辊道中间位置，然后将带材向辊道操作侧移动，每次移动量为d＝2(mm)，直至带材触碰到操作侧辊道，每次移动带材后利用固定好的摄像头拍摄带材此时的位置图像并根据标尺测量出偏移辊道中心的距离并加以记录。然后将带材移回辊道中间位置，将带材向传动侧移动，每次移动量也为d＝2(mm)，直至带材触碰到传动侧辊道，每次移动带材后利用摄像头拍摄带材此时的位置图像并根据标尺测量出偏移辊道中心的距离并加以记录。完成采集后会得到摄像头与地面呈θ＝45°拍摄的带材位置图像及其对应的偏移量的数据集存入数据集Dataset；

b、建立带材位置检测分割模型，对垂直拍摄的带材位置数据的图像进行分割，其中图像分割的各个阶段处理结果如图5所示，具体的执行步骤为：

b1、判断带材位置图像的拍摄角度，带材位置图像I与地面呈θ＝45°拍摄角度，进入步骤b2；

b2、因为摄像头与地面存在空间倾角，所以拍摄的图像为三维空间图像，在进行后续图像处理前需要利用透视变换原理进行图像校正。首先取原始图像I上的4个点，进行图像校正需要选取一个参照物，选取一张存在完整带材的倾斜角度拍摄的带材位置图像I并取图像I上带材的四个原始角点为(1019，0)、(2430，0)、(312，5792)、(2743，5792)，确定带材在透视变换后得到的新坐标系图像上的4个目标点(1019，0)、(2430，0)、(1019，5792)、(2430，5792)，求出变换矩阵T，根据变换矩阵T将图像所有点投影到新平面，变换后的结果记为I_transform；

b3、对经过步骤b2透视变换后的带材位置图像I_transform进行图像分割处理，具体的执行步骤为：

b31、带材位置图像I_transform中将模拟辊道的黄色贴纸也采集到了图像中，而这一部分属于背景是不需要的，所以对图像进行裁剪处理，裁剪到黄色贴纸内侧最边缘像素即辊道边缘，裁剪后的图像记为I_crop，尺寸大小为3232×5791；

b32、对裁剪后的图像I_crop进行图像增强，调整图像色阶，根据带材和辊道的背景，灰场Mid数值设置为1，黑场Shadow数值设置为90，白场Hightlight数值设置为88。采用中值滤波器去掉图像上锈迹等无用噪声，中值滤波器滤波核设置为115，滤波后再对图像进行灰度化处理，将其转换成单通道图像数据，增强后的图像记为I_aug；

b33、对图像I_aug进行阈值分割处理，分割阈值shreshold设置为245，分割出图像中的带材，得到分割结果I_seg；

c、根据分割结果I_seg计算带材距辊道中心的偏移距离，执行流程图如图3所示，具体的执行步骤为：

c1、将步骤b34分割后的图像结果I_seg转换成二维矩阵M_seg，并得到二维矩阵M_seg的高h＝5791和宽w＝3232，其中二维矩阵M_seg中的值为灰度图像中各点处的灰度值G_(i,_j)(i＝1～h,j＝1～w)；

c2、将二维矩阵M_seg的高h四等分，分别取

作为提取图像中带材位置的基准高度，其中

为向下取整符号；

c3、取出二维矩阵M_seg在基准高度H₁、H₂、H₃、H₄上表示带材位置的标号，具体的执行步骤为：

c31、创建用于保存带材在图像四个基准高度上带材位置标号的集合S^t(t＝1,2,3,4)，其中变量t代表不同的基准高度，

代表集合S^t中的子元素，设置循环变量v并令t＝1，v＝1；

c32、判断矩阵M_seg在坐标(H_t,v)处的灰度值

是否成立，若成立，表示矩阵M_seg在此坐标处存在带材并转到步骤c33，若不成立，转到步骤c34；

c33、将当前变量v的值保存为集合S^t的元素；

c34、令变量v＝v+1；

c35、判断v＝w是否成立，若成立表示在基准高度H_t上搜索完成并转到步骤c36，若不成立转到步骤c32；

c36、得到当前基准高度H_t上保存有带材位置标号的集合S^t；

c37、令v＝1和t＝t+1；

c38、判断t＝4是否成立，若成立，完成四个基准高度带材位置标号的采集并转到步骤c4，若不成立，转到步骤c32；

c4、得到矩阵M_seg的四个基准高度上保存有带材位置的集合

其中元素

和

分别代表带材在图像上左右两端位置标号，为减小误差，计算四个基准高度上带材位置标号的平均位置，带材左侧位置标号为

带材右侧位置标号为

c5、由于步骤b31已经将图像进行裁剪，所以图像左右两侧即代表辊道两侧，计算带材在图像中的尺寸，记为B_stripImg＝P_right-P_left＝1418(pixel)；计算图像中带材距左侧辊道距离为D_left＝P_left-0＝544(pixel)，计算图像中带材距右侧辊道为D_right＝w-P_right＝1270(pixel)；

c6、计算图像与实际尺寸之间的比例尺，已知实际带材宽度为B_strip，比例因子记为：Q＝B_strip/B_stripImg＝0.069(mm/pixel)；

c7、计算实际带材位置，记为E＝(D_left-D_right)×Q＝-50.17(mm)，代表带材中心线向操作侧辊道发生偏离，偏离量为50.17mm。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有而各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。因注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (2)

1.一种带材位置图像数据集采集方法，其特征在于，带材位置图像数据集的采集包括以下步骤：

a1、搭建采集带材位置图像数据的环境：

a11、搭建模拟辊道，在地面相距W_roller的距离位置处平行粘贴黄色标志物，以此模拟辊道两侧边部，并规定左侧为操作侧，右侧为传动侧；

a12、分别选取多种表面光洁程度和带有不同程度锈迹和氧化皮带材，带材实际宽度为B_strip、长度为L_strip，将带材放置于模拟辊道的黄色标志物中间，模拟带材轧制过程；

a2、采集带材位置图像数据，利用三脚架装置固定摄像头，调整三脚架固定摄像头位置与地面高度为H，拍摄不同角度的数据集，固定摄像头与地面呈垂直角度拍摄N张带材位置图像数据，调整摄像头与地面呈θ角度，其中θ＝15°、30°、45°和75°，每个角度拍摄N张带材位置图像数据；

a3、在紧贴模拟辊道的黄色标志物上侧固定放置一副标尺，以其零刻度对齐辊道中心点位置，标尺精度为1mm，用于测量带材的位置量，首先将带材放置于辊道中间位置，然后将带材向操作侧移动，每次移动量为d，直至带材触碰到操作侧辊道，每次移动带材后利用固定好的摄像头以与地面呈垂直角度和与地面呈θ角度拍摄带材位置图像，并根据标尺测量出偏移辊道中心的距离并记录；然后将带材移回辊道中间位置，将带材向传动侧移动，每次移动量为d，直至带材触碰到传动侧辊道，每次移动带材后利用固定好的摄像头以与地面呈垂直角度和与地面呈θ角度拍摄带材位置图像，并根据标尺测量出偏移辊道中心的距离并记录；

a4、完成采集后会得到摄像头与地面呈垂直角度拍摄以及和地面呈不同θ角度拍摄的带材位置图像及其对应偏移量的数据集记为Dataset；

b、建立带材位置检测分割模型，对带材图像数据集Dataset的处理过程为：

b1、首先判断带材位置图像I的拍摄角度，若与地面呈垂直角度拍摄则进入步骤b3，否则进入b2；

b2、利用透视变换原理对拍摄的三维空间图像进行图像校正；进行图像校正需要选取一个参照物，选取一张存在完整带材的倾斜角度拍摄的带材位置图像I并取图像上带材的四个原始角点为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，然后需要确定带材在透视变换后得到的新坐标系图像上的4个目标点(x′₁,y′₁)、(x′₂,y′₂)、(x′₃,y′₃)、(x′₄,y′₄)；带材目标点(x′,y′)根据公式

转换成空间坐标(u,v,w)，然后根据透视变换公式

求解出变换矩阵T，其中

根据透视变换矩阵T将图像所有点投影到新平面，变换后的结果记为I_transform；

b3、对经过透视变换b2步骤处理后的I_transform和呈垂直角度拍摄的带材位置图像I进行图像分割处理；包括以下步骤：

b31、在垂直拍摄的原始带材图像I和b2步骤处理后的I_transform中，将模拟辊道的黄色标志物也采集到了图像中，而这一部分属于背景是不需要的，所以对图像进行裁剪处理，裁剪到黄色贴纸内侧最边缘像素即为模拟辊道边缘，裁剪后的图像记为I_crop，尺寸大小为A×B；

b32、对步骤b31裁剪后的图像I_crop进行图像增强处理；包括以下步骤：

b321、调整图像色阶，根据带材和辊道的背景，灰场数值Mid设置为1，黑场数值Shadow范围在50-100之间调整，白场数值Highlight范围在50-100之间调整；

b322、图像进行滤波处理，采用中值滤波器去掉原图像上锈迹氧化物等无用噪声，中值滤波核大小范围选定在80-120之间，滤波后再对图像进行灰度化处理，将其转换成单通道图像数据，增强后的图像记为I_aug；

b33、对图像I_aug进行阈值分割处理，设置的分割阈值shreshold，分割出图像中的带材，得到分割结果I_seg；

c、根据分割结果I_seg计算带材距辊道中心的偏移距离，具体的执行步骤为：

c1、将步骤b33分割后的图像结果I_seg转换成二维矩阵M_seg，并得到二维矩阵M_seg的高h和宽w，其中二维矩阵M_seg中的值为分割图像I_seg中各点处的灰度值G_(i,j)，i＝1～h,j＝1～w；

c2、将二维矩阵M_seg的高h四等分，分别取

作为提取图像中带材位置的基准高度，其中

为向下取整符号；

c3、取出二维矩阵M_seg在基准高度H₁、H₂、H₃、H₄上表示带材位置的标号；

c4、得到矩阵M_seg的四个基准高度上保存有带材位置的集合

其中元素

和

分别代表带材在图像上左右两端位置标号，为减小误差，计算四个基准高度上带材位置标号的平均值，带材左侧位置标号为

带材右侧位置标号为

c5、由于步骤b31已经将图像进行裁剪，所以图像左右两侧即代表操作侧和传动侧，计算带材在图像中的宽度，记为B_stripImg＝P_right-P_left；计算图像中带材距操作侧辊道距离为D_left＝P_left-0，计算图像中带材距传动侧辊道距离为D_right＝w-P_right；

c6、计算图像与实际尺寸之间的比例尺，已知实际带材宽度为B_strip，比例因子记为：Q＝B_strip/B_stripImg，单位为mm/pixel；

c7、计算实际带材的位置，记为E＝(D_left-D_right)×Q，若E大于零代表带材向传动侧辊道发生位置偏离，反之，代表向操作侧辊道发生位置偏离。

2.根据权利要求1所述的带材位置图像数据集采集方法，其特征在于，所述c3包括以下步骤：

c31、创建用于保存带材在图像四个基准高度上带材位置标号的集合S^t，t＝1,2,3,4，其中变量t代表不同的基准高度，

为集合S^t中的子元素，设置循环变量v，并令t＝1，v＝1；

c32、判断矩阵M_seg在坐标(H_t,v)处的灰度值G(H_t，v)＝255是否成立，若成立，表示矩阵M_seg在此坐标处存在带材并转到步骤c33，若不成立，转到步骤c34；

c33、将当前变量v的值保存为集合S^t的元素；

c34、令变量v＝v+1；

c35、判断v＝w是否成立，若成立表示在基准高度H_t上搜索完成并转到步骤c36，若不成立转到步骤c32；

c36、得到当前基准高度H_t上保存有带材位置标号的集合S^t；

c37、令v＝1和t＝t+1；

c38、判断t＝4是否成立，若成立，完成四个基准高度带材位置标号的采集并转到步骤c4，若不成立，转到步骤c32。

Images