CN112634344B - 一种基于机器视觉的冷轧带卷轴孔中心位置的检测方法 - Google Patents

Abstract

一种基于机器视觉的冷轧带卷轴孔中心位置的检测方法，包括以下步骤：步骤一，以前一帧灰度图像中带卷中心坐标为中心，在一定范围内，随机截取一定窗口大小的多张子图；步骤二，将子图送入卷积神经网络，计算出每张子图中带卷中心坐标。对计算结果求平均，得到带卷中心坐标；步骤三，基于模板匹配方法，计算出当前帧灰度图像中的带卷相对前一帧灰度图像中的带卷的偏移量；步骤四，基于卡尔曼滤波方法，将步骤一、步骤二、步骤三所获得的带卷中心坐标和偏移量相综合，得到当前帧图像中带卷中心坐标的最优估计；步骤五，重复以上步骤，实现对带卷中心坐标的实时跟踪；具有极高的鲁棒性，能够在不同环境下，对各类带卷加以高精度跟踪定位。

Description

一种基于机器视觉的冷轧带卷轴孔中心位置的检测方法

技术领域

本发明属于机器视觉和自动控制技术领域，具体涉及一种基于机器视觉的冷轧带卷轴孔中心位置的检测方法。

背景技术

薄板冷轧加工生产时，待轧制钢卷需要由上卷机构送入轧机轧制。上卷过程如图1(a)～(d)所示，原料带卷(1)被液压上卷机构从堆料区域移动至开卷机，将带卷中心(2)对准开卷机轴(3)，之后推入开卷机开卷。该过程高度重复，如果能够将人工操作改为自动上卷，则可以节约人力成本。

自动上卷需要准确检测带卷中心位置，使其能够对准开卷机轴。一些早期方案尝试使用限位开关、激光测距等传感器进行定位，由于冷轧机工作环境恶劣，油污、蒸汽、震动等导致传感器难以长期可靠使用，因此目前为主，上卷操作仍需人工控制。参见图1(a)～(d)。

采用机器视觉方式进行带卷定位跟踪具有诸多优点。由于摄像头安装位置较高，远离轧机生产环境，不受现场环境影响，长期工作可靠性能够得到保障。摄像头安装位置较为灵活，无需改变已有机械电气硬件结构。摄像头除上卷时跟踪带卷外，也可执行安全监视、生产记录等任务，功能灵活度高。图1所示照片即为带卷跟踪定位摄像头拍摄。

但是，采用机器视觉跟踪定位带卷也存在诸多困难。传统定位方式多采用边缘提取方式，通过经典算法(如Sobel,Canny等)找出带卷边缘，基于椭圆拟合计算中心点坐标。由于带卷存在边缘不整齐，带材表面存在带头、污渍、标签等，生产现场存在光照阴影等，经典边缘提取算法极易受到干扰，导致定位不准。图2(a)～(c)显示了三张带卷实拍照片，图2(d)～(f)显示了这三张照片通过Canny算法提取的边缘图像。可以看到，标签、带头以及光斑对于边缘提取具有显著影响，很难将其滤除，从而影响中心点定位精度和可靠性。因此，基于机器视觉的带卷定位方式目前仍未见实际应用。

发明内容

为克服上述现有技术的不足，本发明的目的在于提供一种基于机器视觉的冷轧带卷轴孔中心位置的检测方法，通过深度学习和卡尔曼滤波相结合，实现高精度、高鲁棒性的冷轧带卷定位跟踪，为冷轧机自动上卷以及其他自动控制任务提供必要的定位跟踪服务。

为实现上述目的，本发明采用的技术方案是：

本发明的有益效果是：

本发明设计了一种基于深度学习和卡尔曼滤波的单镜头机器视觉带卷定位跟踪算法。该算法采用深度学习算法，通过现场生产照片对智能体加以训练，实现端对端、高效且高鲁棒性的带卷定位跟踪。通过卡尔曼滤波，进一步增强定位精度，避免粗大误差。试验测试表明，该算法具有极高的鲁棒性，能够在不同环境下，对各类带卷加以高精度跟踪定位。

附图说明

图1(a)为冷轧带卷上卷照片，图中带卷位于上卷等待区。

图1(b)为冷轧带卷上卷照片，图中带卷正在向开卷机移动。

图1(c)为冷轧带卷上卷照片，图中带卷已对准开卷机。

图1(d)为冷轧带卷上卷照片，图中带卷已被推入开卷机。

图2(a)为标签、带头和光斑等对边缘提取的影响实例图，图中带卷边缘含有标签。

图2(b)为标签、带头和光斑等对边缘提取的影响实例图，图中带卷边缘含有带头。

图2(c)为标签、带头和光斑等对边缘提取的影响实例图，图中带卷边缘含有光斑。

图2(d)为标签、带头和光斑等对边缘提取的影响实例图，图中标签产生错误边缘。

图2(e)为标签、带头和光斑等对边缘提取的影响实例图，图中带头产生错误边缘。

图2(f)为标签、带头和光斑等对边缘提取的影响实例图，图中光斑产生错误边缘。

图3为本发明的卷积神经网络结构图。

图4为模板匹配计算窗口区域照片。

图5(a)为强光照条件下带卷位置跟踪结果，图中的曲线为带卷中心位移曲线图。

图5(b)为弱光照条件下带卷位置跟踪结果，图中的曲线为带卷中心位移曲线图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

一种基于机器视觉的冷轧带卷轴孔中心位置的检测方法，在每个控制周期，摄像头拍摄带卷的灰度图像，交由计算机处理，获得带卷中心位置坐标，实现对带卷的实时跟踪，包括以下步骤：

步骤一，以前一帧灰度图像中带卷中心坐标为中心，在一定范围内，随机截取一定窗口大小的多张子图；

步骤二，将子图送入卷积神经网络，计算出每张子图中带卷中心坐标。对计算结果求平均，得到带卷中心坐标；

步骤三，基于模板匹配方法，计算出当前帧灰度图像相对前一帧灰度图像的偏移量；

步骤四，基于卡尔曼滤波方法，将步骤一、步骤二、步骤三所获得的带卷中心坐标和偏移量相综合，得到当前帧灰度图像中带卷中心坐标的最优估计；

步骤五，重复以上步骤，实现对带卷中心坐标的实时跟踪。

所述的卷积神经网络，具体做法是：

本发明包含一个卷积神经网络，用于从输入带卷灰度图像中获取中心位置坐标。该网络结构如图3所示，其输入为尺寸为512×512的包含带卷图像的灰度图像；灰度图像依次经过4个卷积层，每个卷积层均采用5×5卷积核和2×2最大池化；第一个卷积层输出通道数为8，第二层输出通道数为16，第三层为32，第四层为64；之后使用两个全连接隐层，其节点数分别为16348和4096。输出层节点数为2，代表带卷中心点坐标的X、Y坐标；除输出层外，每层均使用ReLu作为激活函数；输出层不使用激活函数；

使用人工标记图片训练神经网络，图片标签为图片中带卷中心点坐标。神经网络使用误差平方和(RMS)函数作为损失函数(loss function)。为了避免过拟合，训练时采用L2正则，且对网络进行Dropout。完成训练后，通过神经网络从带卷灰度图像中计算带卷中心坐标，计算方法为：

1)假设前一帧摄像头灰度图像中带卷中心坐标为(cx₀,cy₀)，以该坐标为中心，随机产生N个坐标

(cx_i,cy_i)＝(cx₀+Δx_i,cy₀+Δy_i),i∈[0,N) (1)

式中(cx_i,cy_i)是随机生成的坐标，(Δx_i,Δy_i)是一定范围内的等概率随机整数，其分布满足-R≤Δx_i≤R，-R≤Δy_i≤R；N表示随机生成的坐标数量，R表示随机分布范围，N和R由经验或试验决定，一般令N＝16，R＝50；

2)以步骤1)中随机生成的N个坐标(cx_i,cy_i)为中心点，从当前帧灰度图像中截取N个512×512子图，由卷积神经网络计算在每张子图中，带卷的中心位置坐标

3)计算带卷中心坐标平均值：

式中(cx,cy)为带卷的中心坐标平均值，N为步骤2)中截取的子图数量，(cx_i,cy_i)为每张子图中心点在当前帧灰度图像中的坐标，

为每张子图中由神经网络计算获得的带卷的中心坐标。(cx,cy)即为由神经网络计算获得的当前帧中带卷的中心点坐标。

基于模板匹配计算带卷位移量，具体做法是：

1)假设前一帧灰度图像中带卷中心坐标为(cx₀,cy₀)，以(cx₀+ox,cy₀+oy)为中心，在前一帧灰度图像中截取256×256图像作为模板。(ox,oy)为固定偏移量，能够使模板包含一部分带卷中轴边缘图像，以便于模板匹配，如图4所示。

2)找出当前帧中与模板匹配度最高的256×256图像区域，假设该图像区域的中心坐标为(cx₁,cy₁)，则带卷在两帧灰度图像中的位移量为(Δx,Δy)＝(cx₁-cx₀-ox,cy₁-cy₀-oy)；

基于卡尔曼滤波获得定位跟踪结果，具体做法是：

通过模板匹配计算获得带卷在两帧灰度图像间的位移量后，通过卡尔曼滤波将其与通过卷积神经网络获得的带卷中心相结合，提高计算精度，计算方法如下：

1)假设前一帧灰度图像中检测获得的带卷中心位置为(cx₀,cy₀)，且检测标准差为δ₀；

2)假设基于模板匹配检测带卷偏移量的检测标准差为δ′₁，当带卷未发生位移时，模板匹配检测偏移量的可信度最高，因此当(Δx,Δy)＝(0,0)时，模板匹配检测标准差为

当(Δx,Δy)！＝(0,0)时，

和

均由试验测试或经验估计获得，且

3)由前一帧灰度图像的带卷中心位置和两帧灰度图像间带卷偏移量，计算出当前帧中带卷中心坐标的估计值及计算标准差：

(cx₁,cy₁)＝(cx₀+Δx,cy₀+Δy)

式中(cx₁,cy₁)为通过模板匹配获得的本帧灰度图像中带卷中心坐标，(cx₀,cy₀)为前一帧灰度图像中带卷中心坐标，(Δx,Δy)为两帧灰度图像之间带卷偏移量，δ₀,δ′₁和δ₁分别为前一帧灰度图像中带卷中心坐标的检测标准差，前一帧与本帧灰度图像中带卷偏移量的检测标准差，以及本帧灰度图像中通过模板匹配得到的带卷中心坐标的检测标准差；

4)假设通过卷积神经网络，由当前帧灰度图像计算获得的带卷中心位置为(cx₂,cy₂)，检测标准差为δ₂(该标准差通过试验测试或经验估计获得)，根据卡尔曼滤波原理，本帧灰度图像中带卷中心坐标的最优估计和计算标准差为：

式中，(cx,cy)为本帧灰度图像中带卷中心坐标的最优估计，(cx₁,cy₁)为通过模板匹配计算获得的带卷中心坐标，(cx₂,cy₂)为通过卷积神经网络获得的带卷中心坐标，δ₁为模板匹配计算的标准差，δ₂为卷积神经网络计算的标准差，δ为本帧灰度图像中带卷中心坐标计算的标准差。

5)重复执行这一过程，即可实现对带卷中心坐标的连续跟踪。

实施例1

本系统在某薄板冷轧生产车间中得到测试。测试所用摄像头分辨率为3072×2048，安装在冷轧机开卷机上方。摄像头通过千兆以太网与计算机连接，计算机硬件配置为I7 2600CPU，4G RAM，Navdia RTX 2060 GPU，操作系统为Win10。

检测算法由Python语言实现。卷积神经网络基于PyTorch架构实现。模板匹配计算量较大，因此通过PyCUDA架构编写GPU并行计算程序以提高计算效率。图5(a)～(b)为不同光照环境下的定位跟踪(黑色曲线为带卷跟踪路径)，显示了采用本算法在不同光照环境下对于带卷中心位置定位跟踪曲线，可以看到，在正常曝光和欠曝光条件下，算法均能实现较为准确的定位跟踪。在测试所用计算机配置环境下，完成一次定位计算约需要80ms。摄像头采样一帧图像通常需要约60ms。因此，检测系统可以实现不低于5帧/s的检测速率，足以满足带卷上卷自动控制所需。

Claims (1)

1.一种基于机器视觉的冷轧带卷轴孔中心位置的检测方法，其特征在于，包括以下步骤：

步骤一，以前一帧图像中带卷中心坐标为中心，在一定范围内，随机截取一定窗口大小的多张子图；

步骤二，将子图送入卷积神经网络，计算出每张子图中带卷中心坐标，对计算结果求平均，得到带卷中心坐标；

步骤三，基于模板匹配方法，计算出当前帧图像相对前一帧图像的偏移量；

步骤四，基于卡尔曼滤波方法，将步骤一、步骤二、步骤三所获得的带卷中心坐标和偏移量相综合，得到当前帧图像中带卷中心坐标的最优估计；

步骤五，重复以上步骤，实现对带卷中心坐标的实时跟踪；

所述的卷积神经网络，具体做法是：

卷积神经网络用于从输入带卷图像中获取中心位置坐标，其输入为尺寸为512×512的包含带卷图像的灰度图像，灰度图像依次经过4个卷积层，每个卷积层均采用5×5卷积核和2×2最大池化，第一个卷积层输出通道数为8，第二层输出通道数为16，第三层为32，第四层为64；之后使用两个全连接隐层，其节点数分别为16348和4096；输出层节点数为2，代表带卷中心点坐标的X、Y坐标；除输出层外，每层均使用ReLu作为激活函数，输出层不使用激活函数；

使用人工标记图片训练神经网络，图片标签为图片中带卷中心点坐标，神经网络使用误差平方和函数作为损失函数，为了避免过拟合，训练时采用L2正则，且对网络进行Dropout，完成训练后，通过神经网络从摄像头所拍摄灰度图像中计算带卷中心坐标，具体计算方法如下：

2-1)假设前一帧摄像头灰度图像中带卷中心坐标为(cx₀，cy₀)，以该坐标为中心，随机产生N个坐标

(cx_i，cy_i)＝(cx₀+Δx_i，cy₀+Δy_i)，i∈[0，N) (1)

式中(cx_i，cy_i)是随机生成的坐标，(Δx_i，Δy_i)是一定范围内的等概率随机整数，其分布满足-R≤Δx_i≤R，-R≤Δy_i≤R；N表示随机生成的坐标数量，R表示随机分布范围，N和R由经验或试验决定，一般令N＝16，R＝50；

2-2)以步骤2-1)中随机生成的N个坐标(cx_i，cy_i)为中心点，从当前帧灰度图像中截取N个512×512子图，由卷积神经网络计算在每张子图中，带卷的中心位置坐标

2-3)计算带卷中心坐标平均值：

式中(cx，cy)为带卷的中心坐标平均值，N为步骤2-2)中截取的子图数量，(cx_i，cy_i)为每张子图中心点在当前帧灰度图像中的坐标，

为每张子图中由神经网络计算获得的带卷的中心坐标；

所述的模板匹配方法，具体做法是：

3-1)假设前一帧灰度图像中带卷中心坐标为(cx₀，cy₀)，以(cx₀+ox，cy₀+oy)为中心，在前一帧灰度图像中截取256×256图像作为模板，(ox，oy)为固定偏移量，能够使模板包含一部分带卷中轴边缘图像，以便于模板匹配；

3-2)找出当前帧中与模板匹配度最高的256×256图像区域，假设该图像区域的中心坐标为(cx₁，cy₁)，则带卷在两帧灰度图像中的位移量为(Δx，Δy)＝(cx₁-cx₀-ox，cy₁-cy₀-oy)；

所述的卡尔曼滤波方法，通过模板匹配计算获得带卷在两帧灰度图像间的位移量后，通过卡尔曼滤波将其与通过卷积神经网络获得的带卷中心相结合，提高计算精度，具体计算方法是：

4-1)假设前一帧灰度图像中检测获得的带卷中心位置为(cx₀，cy₀)，且检测标准差为δ₀；

4-2)假设基于模板匹配检测带卷偏移量的检测标准差为δ′₁，当带卷未发生位移时，模板匹配检测偏移量的可信度最高，因此当(Δx，Δy)＝(0，0)时，模板匹配检测标准差为

当(Δx，Δy)！＝(0，0)时，

和

均由试验测试或经验估计获得，且

4-3)由前一帧灰度图像的带卷中心位置和两帧灰度图像间带卷偏移量，计算出当前帧中带卷中心坐标的估计值及计算标准差：

式中(cx₁，cy₁)为通过模板匹配获得的本帧灰度图像中带卷中心坐标，(cx₀，cy₀)为前一帧灰度图像中带卷中心坐标，(Δx，Δy)为两帧灰度图像之间带卷偏移量，δ₀，δ′₁和δ₁分别为前一帧灰度图像中带卷中心坐标的检测标准差，前一帧与本帧灰度图像中带卷偏移量的检测标准差，以及本帧灰度图像中通过模板匹配得到的带卷中心坐标的检测标准差；

4-4)假设通过卷积神经网络，由当前帧灰度图像计算获得的带卷中心位置为(cx₂，cy₂)，检测标准差为δ₂，该标准差通过试验测试或经验估计获得，根据卡尔曼滤波原理，本帧灰度图像中带卷中心坐标的最优估计和计算标准差为：

式中，(cx^*，cy^*)为本帧灰度图像中带卷中心坐标的最优估计，(cx₁，cy₁)为通过模板匹配计算获得的带卷中心坐标，(cx₂，cy₂)为通过卷积神经网络获得的带卷中心坐标，δ₁为模板匹配计算的标准差，δ₂为卷积神经网络计算的标准差，δ为本帧灰度图像中带卷中心坐标计算的标准差；

4-5)重复执行这一过程，即可实现对带卷中心坐标的连续跟踪。

Images