CN116258745A - 一种基于自适应差分的棒材端部目标追踪方法 - Google Patents

Abstract

本发明属于多目标追踪技术领域，尤其涉及一种基于自适应差分的棒材端部目标追踪方法。所述方法包括：采用差分算法混合自适应阈值策略，基于支持yolov3检测与hough圆检测算法获得棒材特征图与坐标信息；采用圆心提取和运动轨迹计算的方法跟踪目标；根据第一帧与最后一帧所有追踪目标坐标以及跟踪过程坐标编写逻辑算法，得到初始排序和最终排序，实现跟踪。采用本发明提供的方法可以准确分析每根钢管的运动趋势，即使在发生翻钢和乱钢的情况下，也能够准确地检测和追踪钢管。

Description

一种基于自适应差分的棒材端部目标追踪方法

技术领域

本发明属于多目标追踪技术领域，尤其涉及一种基于自适应差分的棒材端部目标追踪方法，用于目标特征相似的棒材端部的检测与追踪。

背景技术

传统的棒材生产企业跟踪以炉次、批次为主，但随着下游用户要求不断提高，要求生产数据能够与批次内每一支棒材对应起来。这就需要实现棒材生产过程的逐支跟踪，使生产过程数据能与每根棒材对应起来。

棒材从轧机轧制出来后，在上收集冷床时，先将棒材抬起来，再通过一个下坡将棒材滚到冷床上，棒材在滚动的过程中会出现跳动和乱钢的情况，即棒材的前后顺序发生了变化；而棒材在冷床上步进横移过程中，也会出现上述的情况。为了实现自动跟踪，可以在相应区域设置摄像机，通过采集棒材端部影像进行跟踪。但是每支棒材的尺寸、颜色几乎完全相同，如果再出现上述乱支的情况就会导致目标跟踪失败，从而对接下来的生产过程造成严重影响。

发明内容

针对上述问题，本发明提出了一种基于自适应差分的棒材端部目标追踪方法，使用支持向量回归算法识别出每一帧视频图像中棒材端部相对位置，实现每支棒材在输送过程中的轨迹追踪。

本发明采用的技术方案如下：

一种基于自适应差分的棒材端部目标追踪方法，所述方法包括：

(1)利用高速相机采集棒材倒棱的全部过程图像，并逐帧进行灰度化处理，获得灰度图像；

(2)通过深度学习方法识别提取所述灰度图像中的棒材端面区域；再利用RHT圆检测算法确定棒材端面圆心坐标；

(3)利用自适应阈值算法对步骤(1)中所述灰度图像计算，差分图像二值化，实现阈值的自适应；

(4)采用圆心提取和运动轨迹计算方法关联跟踪目标，并根据逻辑算法实现多目标跟踪。

进一步地，步骤(1)具体为：在棒材下滚区域设置高速相机，采集视频数据，提取每一帧的特征图，通过特征图做图像灰度处理，获得灰度图像。

进一步地，步骤(2)中，所述通过深度学习方法识别提取所述灰度图像中的棒材端面区域，具体为：

1)通过预先收集到的棒材端面视频图像，训练YOLO V3网络；

2)利用训练好的YOLO V3神经网络对输入的待检测的棒材端面的灰度图像进行识别，每一个被识别出来的目标采用一个预测框标识。

3)在待检测的棒材端面的灰色图像上采用canny算子计算得到边缘图像EDGE；

4)在所述边缘图像上，根据所述预测框，得到相应的子图。

进一步地，步骤(2)中，所述利用RHT圆检测算法确定棒材端面圆心坐标，具体为：

对于YOLO V3网络给出的所述预测框中的唯一圆，采用随机Hough变换，随机选择所述边缘图像中的3点，计算对应圆的圆心坐标和半径，将计算获得的所述圆心和半径在RHT空间中对应的累加器进行累加，不断重复，直到某个累加器达到阈值，即识别出一个圆，获得预测圆心坐标O(x_o,y_o)；

进一步地，RHT的阈值T₁＝N；N为常量，是一个整数，表示产生随机数的个数。

进一步地，步骤(3)具体为：

S1：在视频动态目标检测前对静态背景进行学习，对于步骤(1)中所述灰度图像，得到每一帧背景均值μ_i和每一帧背景标准差σ_i；

通过下式计算得到背景均值μ和背景标准差σ：

其中，根据跟踪实际经验n的取值为60；

S2：通过设置阈值区间实现自适应阈值：

阈值T_a为一个区间值：T_a＝[μ-σ,μ＝σ]；

灰度图像处理为二值图像，二值图像计算结果为：

其中，差分结果A是一个二值图像，1表示差分时相应点灰度梯度发生了很大变化；0表示差分时相应点的灰度梯度没有发生变化或者发生了很小的变化，由此实现阈值的自适应；t时刻为本帧对应的时刻，t’时刻为下一帧对应的时刻。

进一步地，步骤(4)中，所述采用圆心提取和运动轨迹计算方法关联跟踪目标，具体为：

S1：根据m时刻圆心位置(x_m，y_m)预测下一帧中m+1时刻的圆心位置(x_m+1，y_m+1)：

x_m+1＝x_m+v_0xt，y_m+1＝y_m+v_0yt；

式中，t为m+1时刻和m时刻的时间差；v_0x,v_0y表示棒材在x和y方向的运动速度；其中，m时刻圆心位置(x_m，y_m)是根据步骤(2)中提供的方法获得(YOLO V3结合RHT获取)；

S2：为实现同时跟踪多根棒材，为使顺利进行，对相关棒材轨迹进行关联：

|(x_m+1,y_m+1)-(x_m,y_m)|≤η

η为棒材端面半径的80％。

进一步地，步骤(4)中，根据逻辑算法实现多目标跟踪，具体为：

根据第一帧与最后一帧所有追踪目标坐标以及跟踪过程坐标编写逻辑算法；

底层逻辑为：对于同一棒材，由于相邻两个时刻之间棒材移动距离小于棒材半径；后一时刻的棒材横坐标大于前一时刻棒材横坐标且相邻两个时刻的棒材横坐标差小于棒材半径；

通过逻辑算法将全部时刻的棒材位置信息串连起来，得到所有棒材移动轨迹；得到初始排序和最终排序，完成多目标跟踪。

本发明的有益效果是：

本发明提供的基于自适应差分的棒材端部目标追踪方法，通过自适应差分方法准确有效提取运动的棒材，自适应阈值可以更好将运动物体分离。

根据本发明给出的底层逻辑，能够准确判断棒材运动趋势实现棒材的逐支跟踪，该方法不需要识别运动目标特征，原理简单，误差小，易于实现。

本发明提供的方法可以准确分析每根钢管的运动趋势，即使在发生翻钢和乱钢的情况下，也能够准确地检测和追踪钢管。

附图说明

下面结合附图和具体实施方式对本发明做进一步说明。本发明保护范围不仅局限于以下内容的表述。

图1为本发明实施例中基于自适应差分的棒材端部目标追踪方法示意图；

图2为本发明实施例中YOLOV3与RHT圆检测法示意图；

图3为本发明实施例中收集冷床处棒材跟踪流程示意图。

具体实施方法

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。

本发明提供一种基于自适应差分的棒材端部目标追踪方法，所述方法基于视频信号以及检测模型对棒材进行检测；基于检测到的图像逐帧操作，做图像处理并建立底层逻辑；采用圆心提取和运动轨迹计算差分算法法解决多目标跟踪问题，并根据逻辑算法实现跟踪。

如图1所示，所述方法具体包括：

(1)利用高速相机采集棒材倒棱的全部过程图像，并逐帧进行灰度化处理，获得灰度图像；

(2)通过深度学习方法识别提取所述灰度图像中的棒材端面区域；再利用RHT圆检测算法确定棒材端面圆心坐标；

(3)利用自适应阈值算法对步骤(1)中所述灰度图像计算，差分图像二值化，实现阈值的自适应；

(4)采用圆心提取和运动轨迹计算方法关联跟踪目标，并根据逻辑算法实现多目标跟踪。

步骤(1)具体为：在棒材下滚区域设置高速相机，采集视频数据，提取每一帧的特征图，通过特征图做图像灰度处理，获得灰度图像。

在本实施例中，步骤(2)通过引入YOLOV3深度学习方法识别图像中的棒材端面；然后利用RHT改进YOLOV3目标检测的结果。包括以下两部分。

首先，采用训练好的YOLOV3对视频图像图像进行目标检测，初步框选出图像中所有的棒材。

然后，基于棒材端面轮廓一般近似于圆形的特征，采用RHT圆检测方法对YOLOV3定位出的棒材进行定位，精准的获得棒材端面的圆心坐标。

如图2所示，步骤(2)中，所述通过深度学习方法识别提取所述灰度图像中的棒材端面区域，具体为：

1)通过预先收集到的棒材端面视频图像，训练YOLO V3网络；

2)利用训练好的YOLO V3神经网络对输入的待检测的棒材端面的灰度图像进行识别，每一个被识别出来的目标采用一个预测框(b_x，b_y，b_w，b_h)标识；b_x，b_y，b_w，b_h为边界框相对于特征图的位置和大小；

3)在待检测的棒材端面的灰色图像上采用canny算子计算得到边缘图像(EDGE)；

4)在边缘图像上，根据预测框(t_x、t_y、t_w、t_h)，得到相应子图；t_x、t_y、t_w、t_h分别为模型的坐标偏移值和尺度缩放。

根据该子图，采用改进的RHT圆检测方法，RHT的阈值T₁＝N(N为常量，是一个整数，表示产生随机数的个数)，获得预测圆心O(x_o,y_o)。

其中，对灰度图像进行基于YOLOV3的端面区域提取的过程为：

通过YOLOV3先将输入图像大小缩放至416*416像素，再通过深度神经网络可以获得13*13、26*26、52*52多尺度图像。其先验框个数为9，分别是(10*13)、(16*30)、(33*23)、(30*61)、(62*45)、(59*119)、(116*90)、(156*198)、(373*326)。将这九个先验框依序平均分成3组，分配给13*13、26*26、52*52三个尺度的特征图。

通过计算获得图像中每个单元格的多尺度特征后，使用logistic回归对上述9个先验框内包围的内容进行了目标性评分，目标性评分最高的先验框内容才会被算法预测，并将其预测结果输出。神经网络获得的多尺度图像特征的信息中，包含网络的输出的中心坐标(t_x、t_y)、宽度t_w和高度t_h4个相关参数。如果每个单元从图像的左上角偏移(c_x,c_y)，并且先验框具有的宽度和高度分别为p_w、p_h，则预测框(b_x，b_y，b_w，b_h)表示为：

b_x＝σ(t_x)+c_x；

b_y＝σ(t_y)+c_y；

式中，b_x、b_y表示预测框左上角坐标，b_w、b_h分别表示预测框的宽度和高度；σ为sigmoid函数。

在本实施例步骤(2)中，所述利用RHT圆检测算法确定棒材端面圆心坐标，具体为：

对于YOLO V3网络给出的所述预测框中的唯一圆，采用随机Hough变换，随机选择所述边缘图像中的3点，计算对应圆的圆心坐标和半径，将计算获得的所述圆心和半径在RHT空间中对应的累加器进行累加，不断重复，直到某个累加器达到阈值，即识别出一个圆。

在本实施例中，步骤(3)具体为：

S1：在视频动态目标检测前对静态背景进行学习，对于步骤(1)中所述灰度图像，得到每一帧背景均值μ_i和每一帧背景标准差σ_i；

通过下式计算得到背景均值μ和背景标准差σ：

其中，根据跟踪实际经验n的取值为60；

S2：通过设置阈值区间实现自适应阈值：

阈值T_a为一个区间值：T_a＝[μ-σ,μ＝σ]；

灰度图像处理为二值图像，二值图像计算结果为：

其中，差分结果A是一个二值图像，1表示差分时相应点灰度梯度发生了很大变化；0表示差分时相应点的灰度梯度没有发生变化或者发生了很小的变化，由此实现阈值的自适应。f(j,k,t)为t时刻(本帧)坐标(j,k)的灰度值，f(j,k,t′)为t’时刻(下一帧)坐标(j,k)的灰度值。t时刻为本帧对应的时刻，t’时刻为下一帧对应的时刻。

在本实施例步骤(4)中，所述采用圆心提取和运动轨迹计算方法关联跟踪目标，具体为：

S1：根据m时刻圆心位置(x_m，y_m)预测下一帧中m+1时刻的圆心位置(x_m+1，y_m+1)：

x_m+1＝x_m+v_0xt，y_m+1＝y_m+v_0yt；

式中，t为m+1时刻和m时刻的时间差；v_0x,v_0y表示棒材在x和y方向的运动速度；

S2：为实现同时跟踪多根棒材，为使顺利进行，对相关棒材轨迹进行关联：

|(x_m+1,y_m+1)-(x_m,y_m)|≤η

η为棒材端面半径的80％。

在本实施例步骤(4)中，根据逻辑算法实现多目标跟踪，具体为：

根据第一帧与最后一帧所有追踪目标坐标以及跟踪过程坐标编写逻辑算法；

底层逻辑为：对于同一棒材，由于相邻两个时刻之间棒材移动距离小于棒材半径；后一时刻的棒材横坐标大于前一时刻棒材横坐标且相邻两个时刻的棒材横坐标差小于棒材半径；

通过逻辑算法将全部时刻的棒材位置信息串连起来，得到所有棒材移动轨迹；得到初始排序和最终排序，完成多目标跟踪。

如图3所示，由于存在多根棒材(本图以6根棒材为例)，为使跟踪顺利进行，须进行相关圆心的轨迹关联。运动轨迹可分为没有发生错乱和发生错乱两种，通过逻辑算法可以实现准确跟踪。

当没有发生错乱时追踪过程为：

T时刻高速摄像机拍摄下的图像，可以检测到棒材1-6的位置并返回六个坐标信息分别为123456。

T1时刻高速摄像机拍摄下的图像，可以检测到此时刻六个坐标位置。T2、T3至TN时刻与前两时刻获取都可获取6个坐标位置。

按照普通的每秒30帧的视频，在滚落最快速的阶段，相邻时刻(相邻两帧)之间同一棒材的移动距离也远远小于棒材的半径。后一时刻的横坐标应大于前一时刻横坐标且横坐标差小于半径。根据此原理，可通过逻辑算法将全部时刻的棒材位置信息串连起来，得到六根棒材移动轨迹，从而实现对棒材的追踪。

当4号和5号棒材发生错乱时：T与T1时刻原理于上述一致。

T2时刻5号棒材发生翻滚时，根据返回的横坐标，可将6根棒材与前一时刻相关联。5号其横坐标应比T1时刻横坐标大且纵坐标有明显上升且小于直径。

T3时刻5号棒材与T2时刻纵坐标最接近，但横坐标会发生一小段位移(小于半径)。

T4时刻5号棒材移动到4号棒材之前，实现了发生错乱情况下六根棒材的追踪。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于自适应差分的棒材端部目标追踪方法，其特征在于，所述方法包括：

(1)利用高速相机采集棒材倒棱的全部过程图像，并逐帧进行灰度化处理，获得灰度图像；

(2)通过深度学习方法识别提取所述灰度图像中的棒材端面区域；再利用RHT圆检测算法确定棒材端面圆心坐标；

(3)利用自适应阈值算法对步骤(1)中所述灰度图像计算，差分图像二值化，实现阈值的自适应；

(4)采用圆心提取和运动轨迹计算方法关联跟踪目标，并根据逻辑算法实现多目标跟踪。

2.根据权利要求1所述一种基于自适应差分的棒材端部目标追踪方法，其特征在于，步骤(1)具体为：在棒材下滚区域设置高速相机，采集视频数据，提取每一帧的特征图，通过特征图做图像灰度处理，获得灰度图像。

3.根据权利要求1所述一种基于自适应差分的棒材端部目标追踪方法，其特征在于，步骤(2)中，所述通过深度学习方法识别提取所述灰度图像中的棒材端面区域，具体为：

1)通过预先收集到的棒材端面视频图像，训练YOLO V3网络；

2)利用训练好的YOLO V3神经网络对输入的待检测的棒材端面的灰度图像进行识别，每一个被识别出来的目标采用一个预测框标识；

3)在待检测的棒材端面的灰色图像上采用canny算子计算得到边缘图像；

4)在所述边缘图像上，根据所述预测框，得到相应的子图。

4.根据权利要求3所述一种基于自适应差分的棒材端部目标追踪方法，其特征在于，步骤(2)中，所述利用RHT圆检测算法确定棒材端面圆心坐标，具体为：

对于YOLO V3网络给出的所述预测框中的唯一圆，采用随机Hough变换，随机选择所述边缘图像中的3点，计算对应圆的圆心坐标和半径，将计算获得的所述圆心和半径在RHT空间中对应的累加器进行累加，不断重复，直到某个累加器达到阈值，即识别出一个圆，获得圆心坐标O(x_o,y_o)。

5.根据权利要求4所述一种基于自适应差分的棒材端部目标追踪方法，其特征在于，RHT的阈值T₁＝N；N为常量，是一个整数，表示产生随机数的个数。

6.根据权利要求1所述一种基于自适应差分的棒材端部目标追踪方法，其特征在于，步骤(3)具体为：

S1：在视频动态目标检测前对静态背景进行学习，对于步骤(1)中所述灰度图像，得到每一帧背景均值μ_i和每一帧背景标准差σ_i；

通过下式计算得到背景均值μ和背景标准差σ：

S2：通过设置阈值区间实现自适应阈值：

阈值T_a为一个区间值：T_a＝[μ-σ,μ＝σ]；

灰度图像处理为二值图像，二值图像计算结果为：

其中，差分结果A是一个二值图像，1表示差分时相应点灰度梯度发生了很大变化；0表示差分时相应点的灰度梯度没有发生变化或者发生了很小的变化，由此实现阈值的自适应；f(j,k,t)为t时刻坐标(j,k)的灰度值，f(j,k,t^’)为t’时刻坐标(j,k)的灰度值；t时刻为本帧对应的时刻，t’时刻为下一帧对应的时刻。

7.根据权利要求1所述一种基于自适应差分的棒材端部目标追踪方法，其特征在于，步骤(4)中，所述采用圆心提取和运动轨迹计算方法关联跟踪目标，具体为：

S1：根据m时刻圆心位置(x_m，y_m)预测下一帧中m+1时刻的圆心位置(x_m+1，y_m+1)：

x_m+1＝x_m+v_0xt，y_m+1＝y_m+v_0yt；

式中，t为m+1时刻和m时刻的时间差；v_0x,v_0y表示棒材在x和y方向的运动速度；

S2：为实现同时跟踪多根棒材，对相关棒材轨迹进行关联：

|(x_m+1,y_m+1)-(x_m,y_m)|≤η

η为棒材端面半径的80％。

8.根据权利要求1所述一种基于自适应差分的棒材端部目标追踪方法，其特征在于，步骤(4)中，根据逻辑算法实现多目标跟踪，具体为：

根据第一帧与最后一帧所有追踪目标坐标以及跟踪过程坐标编写逻辑算法；

底层逻辑为：对于同一棒材，由于相邻两个时刻之间棒材移动距离小于棒材半径；后一时刻的棒材横坐标大于前一时刻棒材横坐标且相邻两个时刻的棒材横坐标差小于棒材半径；

通过逻辑算法将全部时刻的棒材位置信息串连起来，得到所有棒材移动轨迹；得到初始排序和最终排序，完成多目标跟踪。

Images