CN107742306B - 一种智能视觉中运动目标跟踪算法 - Google Patents

Abstract

本发明公开了一种基于智能视觉中运动目标跟踪方法，其特征在于，包括以下步骤：S1、对于视频中原图像像素灰度为f(x,y)，对f(x,y)图像分割，并计算出最佳阈值T_d；S2、设t时刻视频中的第k帧图像为f_k(x,y)，第k‑1帧图像为f_k‑1(x,y)，两帧图像的帧差为：D_k(x,y)＝|f_k(x,y)‑f_k‑1(x,y)|，S3、对于视频中的帧图像进行阈值分割，从视频帧间提取运动目标f_obj(x,y)为：

S4、对于步骤S3中所提取的运动目标进行定位；S5、对于已经定位的目标在视频中进行目标跟踪。

Description

一种智能视觉中运动目标跟踪算法

技术领域

本发明涉及目标跟踪技术领域，特别是涉及一种智能视觉中运动目标跟踪算法。

背景技术

运动目标定位的研究和应用是智能视频感知的重要组成部分，受到国内外越来越多专家学者的关注，也提出了众多目标检测与跟踪的算法，目前，根据不同定位方法总体上可分类为如下几类：基于特征的跟踪、基于主动轮廓的跟踪、基于3D的跟踪。具有典型性的研究有：Daniel提出基于运动目标特征的定位跟踪方法，利用了目标的颜色特征，对场景中的多个目标进行区分和跟踪；纪筱鹏等基于轮廓特征拐点的运动目标分割方法实现重叠遮挡运动目标的准确完整分割,结合扩展Kalman滤波的跟踪模型实现了运动目标的实时跟踪。Williams提出利用运动轮廓Snake模型进行目标跟踪，Snake模型是在图像域内定义的可变形曲线，通过调整Snake的自然形状与目标轮廓一致，借助于运动估计方法进行目标跟踪；Wangle等利用改进的FAST角点特征匹配来估计目标轮廓在帧间的全局仿射变换，将投影轮廓点作为Snake模型的初始化轮廓，提出了一种新的FAST-Snake目标跟踪方法。Azhn首先提出基于3D模型的跟踪方法，在此基础上，Tan提出了地面约束条件，通过限制运动目标的运动范围减少了可能的目标姿态数，提高了跟踪效率。Zhang等针对传统基于边缘的3D视觉跟踪存在准确性不足的问题,提出一种基于角点特征的3D跟踪,实现3D视觉的精确跟踪。

虽然上述的各种方法都具有各自的特点和优势，但也都存在各自的局限性，尤其是针对特定的应用领域，如：煤矿、停车场等复杂场景，与地面视频监控相比，由于空间受限，存在光照不均、背景光照强度变化大、甚至存在粉尘、潮湿、遮挡等因素影响，造成监控图像质量严重下降，所以在这些复杂环境中进行图像分割和目标定位就相对来说比较困难，用传统的目标定位算法来处理一般得不到理想的计算结果，而且很难实现对目标的实时跟踪，阻碍了智能视频监控的深度发展及应用。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于自适应免疫遗传算法的图像增强方法。

本发明所采用的技术方案是：

一种基于智能视觉中运动目标跟踪方法，其特征在于，包括以下步骤：

S1、对于视频中原图像像素灰度为f(x,y)，对f(x,y)图像分割，并计算出最佳阈值T_d；

S2、设t时刻视频中的第k帧图像为f_k(x,y)，第k-1帧图像为f_k-1(x,y)，两帧图像的帧差为：

D_k(x,y)＝|f_k(x,y)-f_k-1(x,y)|，

S3、对于视频中的帧图像进行阈值分割，从视频帧间提取运动目标f_obj(x,y)为：

S4、对于步骤S3中所提取的运动目标进行定位；

S5、对于已经定位的目标在视频中进行目标跟踪。

在其中一实施例中，所述步骤S1中最佳阈值T_d的计算方法：

S21、初始阈值分割，初始阈值分割采用整幅图像的平均灰度值进行分割，这种选取基于简单的图像统计，避免了分析复杂的图像灰度直方图的过程，设一幅大小为M×N的灰度图像的灰度值为(0，1…，L-1)级，则初始阈值为：

S22、计算目标均值，初始阈值T₀将图像分割成两部分，设小于T₀的部分为目标区域C₀，大于T₀的部分为目标区域C₁，即：

C₀、C₁的平均灰度值为：

其中，S0为C₀的平均灰度值，S1为C₁的平均灰度值，其中i为阈值0～T₀；

S23，计算最佳阈值T_d，

在其中一实施例中，所述步骤4中目标定位的方法为：

S31、建立尺度空间，通过搜寻所有可能的尺度中的稳定点将图像用多尺度空间表示，构建高斯金字塔，在对相邻尺度的图像进行差分，得到高斯差分尺度空间，检测到稳定的特征点；

S32、特征点精确定位，精确确定特征点的位置和尺度，同时去掉不稳定的边缘响应点和低对比度的点；

S33、根据特征点的位置和尺度特征向量，建立目标跟踪特征模型。

在其中一实施例中，所述步骤S31中建立尺度空间的方法为：

高斯卷积核实现尺度变换线性核，图像f(x,y)的尺度空间可表示为在不同尺度下的尺度空间与高斯核的卷积，定义如下：

L(x,y,σ)＝G(x,y，σ)*f(x,y)

其中G(x,y,σ)是尺度可变高斯函数，计算公式如下：

其中(x,y)是空间坐标，σ为尺度空间因子，将图像f(x,y)与不同尺度空间因子σ下的高斯核G(x,y,σ)进行卷积操作，可构成高斯金字塔，为了有效的在尺度空间检测到稳定的特征点，对相邻尺度的图像k、k-1进行差分，得到高斯差分尺度空间定义如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,(k-1)σ))*I(x,y)＝L(x,y,(k-1)σ)-L(x,y,σ)。

在其中一实施例中，所述的步骤32中特征点精确定位的方法为：D(x,y,σ)的泰勒二次展开式为：

求导并让式D(X)一阶导数等于0，可以得到极值点：

对应极值点，代入D(X)中可得：

获取了特征点的精确位置以及尺度后，为使描述算子对图像旋转具有不变性计算位置(x,y)处梯度幅度大小和方向公式如下：

θ(x,y)＝tan^-1{[L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]}

其中L为特征点所在尺度。

在其中一实施例中，所述的步骤S33中建立目标跟踪特征模型的方法为：

假设t_i(t_ix,t_iy)是目标模型中第i个像素点的坐标位置，被跟踪物体的初始帧中心为d0，当前帧中心为d1，基于特征点的位置和尺度特征向量描述建立的初始帧及当前帧目标跟踪特征模型如下：

其中，n为像素总个数；k(||x||²)为核函数，h表示模板半径；函数b和δ用来判断第i个像素的颜色值是否属于特征值u；归一化系数C和C_h分别满足：

在其中一实施例中，所述步骤S33中目标跟踪的方法采用Mean Shift目标跟踪法。

与现有技术相比，本发明的有益效果是：

本申请提供一种智能视觉中运动目标跟踪方法，在帧间差分基础上，通过改进的阈值分割算法进行目标检测，得到视频帧的前景图像，在通过智能视觉定位算法与MeanShift目标跟踪算法的结合实现可以在运动目标出现旋转及尺度变化时得到很好的跟踪效果，并对光照变化、噪声干扰、遮挡等具有很强的适应性，提高了复杂环境下智能视频感知定位的准确性与实时性。

附图说明

图1为本发明一种智能视觉中运动目标跟踪方法的流程图。

具体实施方式

下面结合附图对本发明进一步说明。

一种基于智能视觉中运动目标跟踪方法，其特征在于，包括以下步骤：

S1、对于视频中原图像像素灰度为f(x,y)，对f(x,y)图像分割，并计算出最佳阈值T_d；所述步骤S1中最佳阈值T_d的计算方法：

S21、初始阈值分割，初始阈值分割采用整幅图像的平均灰度值进行分割，这种选取基于简单的图像统计，避免了分析复杂的图像灰度直方图的过程，设一幅大小为M×N的灰度图像的灰度值为(0，1…，L-1)级，则初始阈值为：

S22、计算目标均值，初始阈值T₀将图像分割成两部分，设小于T₀的部分为目标区域C₀，大于T₀的部分为目标区域C₁，即：

C₀、C₁的平均灰度值为：

其中，S0为C₀的平均灰度值，S1为C₁的平均灰度值，其中i为阈值0～T₀；

S23，计算最佳阈值T_d，

使用新的阈值分割方法计算出最佳阈值T_d，从而避免了在整个灰度级上搜索最佳阈值，不仅减少了计算量，而且保持了目标图像轮廓的连续性。。

S2、设t时刻视频中的第k帧图像为f_k(x,y)，第k-1帧图像为f_k-1(x,y)，两帧图像的帧差为：

D_k(x,y)＝|f_k(x,y)-f_k-1(x,y)|，

S3、对于视频中的帧图像进行阈值分割，从视频帧间提取运动目标f_obj(x,y)为：

S4、对于步骤S3中所提取的运动目标进行定位；所述步骤4中目标定位的方法为：

S31、建立尺度空间，通过搜寻所有可能的尺度中的稳定点将图像用多尺度空间表示，构建高斯金字塔，在对相邻尺度的图像进行差分，得到高斯差分尺度空间，检测到稳定的特征点；所述步骤S31中建立尺度空间的方法为：

高斯卷积核实现尺度变换线性核，图像f(x,y)的尺度空间可表示为在不同尺度下的尺度空间与高斯核的卷积，定义如下：

L(x,y,σ)＝G(x,y，σ)*f(x,y)

其中G(x,y,σ)是尺度可变高斯函数，计算公式如下：

其中(x,y)是空间坐标，σ为尺度空间因子，将图像f(x,y)与不同尺度空间因子σ下的高斯核G(x,y,σ)进行卷积操作，可构成高斯金字塔，为了有效的在尺度空间检测到稳定的特征点，对相邻尺度的图像k、k-1进行差分，得到高斯差分尺度空间定义如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,(k-1)σ))*I(x,y)＝L(x,y,(k-1)σ)-L(x,y,σ)。

S32、特征点精确定位，精确确定特征点的位置和尺度，同时去掉不稳定的边缘响应点和低对比度的点；所述的步骤32中特征点精确定位的方法为：

D(x,y,σ)的泰勒二次展开式为：

求导并让式D(X)一阶导数等于0，可以得到极值点：

对应极值点，代入D(X)中可得：

获取了特征点的精确位置以及尺度后，为使描述算子对图像旋转具有不变性计算位置(x,y)处梯度幅度大小和方向公式如下：

θ(x,y)＝tan^-1{[L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]}

其中L为特征点所在尺度。检测到的局部极值点还要经过进一步的精确定位才能成为特征点。通过拟和三维二次函数对DOG尺度空间进行曲线拟合，以精确确定关键点的位置和尺度，同时为了增强目标跟踪的稳定性，还需去除低对比度的关键点和不稳定的边缘响应点，提高抗噪声能力。

S33、根据特征点的位置和尺度特征向量，建立目标跟踪特征模型。所述的步骤S33中建立目标跟踪特征模型的方法为：假设t_i(t_ix,t_iy)是目标模型中第i个像素点的坐标位置，被跟踪物体的初始帧中心为d0，当前帧中心为d1，基于特征点特征向量描述建立的初始帧及当前帧目标跟踪特征模型如下：

其中，n为像素总个数；k(||x||²)为核函数，h表示模板半径；函数b和δ用来判断第i个像素的颜色值是否属于特征值u；归一化系数C和C_h分别满足：

S5、对于已经定位的目标在视频中进行目标跟踪。

在其中一实施例中，目标跟踪的方法采用Mean Shift目标跟踪法。

Mean Shift目标跟踪算法中，最关键的步骤在于找到匹配参数，使得Bh相似系数最大化，即找到和目标模型最相近的区域所在位置，Bh相似系数定义如下：

为使得Bh相似系数最大，假设当前帧中搜索目标是从上一帧的目标中心位置d1开始的，对上式在d1开处进行泰勒展开如下：

b代表特征值数目，从1变化到m，y0代表前一帧搜索窗口的中心像素，y代表当前帧最优目标位置，实际的跟踪过程中，目标在连续帧间的位移不大，因此上式可近似为：

其中：

对上式求极值，即可得到目标跟踪的Mean Shift向量：

其中，μ＝1,2,3......m,表示目标区域中包含的特征值；k代表核函数，G代表-k；B(x_i)表示了位置坐标xi出映射于特征空间的特征值连续迭代d₁←d_c，将会逐渐寻优，最后收敛于局部极大值，使得目标定位得到精准效果。

本申请提供一种智能视觉中运动目标跟踪方法，在帧间差分基础上，通过改进的阈值分割算法进行目标检测，得到视频帧的前景图像，在通过智能视觉定位算法与MeanShift目标跟踪算法的结合实现可以在运动目标出现旋转及尺度变化时得到很好的跟踪效果，并对光照变化、噪声干扰、遮挡等具有很强的适应性，提高了复杂环境下智能视频感知定位的准确性与实时性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于智能视觉中运动目标跟踪方法，其特征在于，包括以下步骤：

S1、对于视频中原图像像素灰度为f x,y，对f x,y图像分割，并计算出最佳阈值T_d；

S2、设t时刻视频中的第k帧图像为f_k(x,y)，第k-1帧图像为f_k-1(x,y)，两帧图像的帧差为：

D_k(x,y)＝|f_k(x,y)-f_k-1(x,y)|，

S3、对于视频中的帧图像进行阈值分割，从视频帧间提取运动目标f_obj(x,y)为：

S4、对于步骤S3中所提取的运动目标进行定位；

S5、对于已经定位的目标在视频中进行目标跟踪；

所述步骤S1中最佳阈值T_d的计算方法：

S21、初始阈值分割，初始阈值分割采用整幅图像的平均灰度值进行分割，这种选取基于简单的图像统计，避免了分析复杂的图像灰度直方图的过程，设一幅大小为M×N的灰度图像的灰度值为(0，1…，L-1)级，则初始阈值为：

S22、计算目标均值，初始阈值T₀将图像分割成两部分，设小于T₀的部分为目标区域C₀，大于T₀的部分为目标区域C₁，即：

C₀、C₁的平均灰度值为：

其中，S0为C₀的平均灰度值，S1为C₁的平均灰度值，其中i为阈值0～T₀；

S23，计算最佳阈值T_d，

2.根据权利要求1所述的一种基于智能视觉中运动目标跟踪方法，其特征在于，所述步骤S4中目标定位的方法为：

S31、建立尺度空间，通过搜寻所有可能的尺度中的稳定点将图像用多尺度空间表示，构建高斯金字塔，在对相邻尺度的图像进行差分，得到高斯差分尺度空间，检测到稳定的特征点；

S32、特征点精确定位，精确确定特征点的位置和尺度，同时去掉不稳定的边缘响应点和低对比度的点；

S33、根据特征点的位置和尺度特征向量，建立目标跟踪特征模型。

3.根据权利要求2所述的一种基于智能视觉中运动目标跟踪方法，其特征在于，所述步骤S31中建立尺度空间的方法为：

高斯卷积核实现尺度变换线性核，图像f(x,y)的尺度空间可表示为在不同尺度下的尺度空间与高斯核的卷积，定义如下：

L(x,y,σ)＝G(x,y，σ)*f(x,y)

其中G(x,y,σ)是尺度可变高斯函数，计算公式如下：

其中(x,y)是空间坐标，σ为尺度空间因子，将图像f(x,y)与不同尺度空间因子σ下的高斯核G(x,y,σ)进行卷积操作，可构成高斯金字塔，为了有效的在尺度空间检测到稳定的特征点，对相邻尺度的图像k、k-1进行差分，得到高斯差分尺度空间定义如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,(k-1)σ))*I(x,y)＝L(x,y,(k-1)σ)-L(x,y,σ)。

4.根据权利要求3所述的一种基于智能视觉中运动目标跟踪方法，其特征在于，所述的步骤32中特征点精确定位的方法为：

D(x,y,σ)的泰勒二次展开式为：

求导并让式D(X)一阶导数等于0，可以得到极值点：

对应极值点，代入D(X)中可得：

获取了特征点的精确位置以及尺度后，为使描述算子对图像旋转具有不变性计算位置(x,y)处梯度幅度大小和方向公式如下：

θ(x,y)＝tan^-1{[L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]}

其中L为特征点所在尺度。

5.根据权利要求4所述的一种基于智能视觉中运动目标跟踪方法，其特征在于，所述的步骤S33中建立目标跟踪特征模型的方法为：

假设t_i(t_ix,t_iy)是目标模型中第i个像素点的坐标位置，被跟踪物体的初始帧中心为d0，当前帧中心为d1，基于特征点位置和尺度特征向量描述建立的初始帧及当前帧目标跟踪特征模型如下：

其中，n为像素总个数；k(||x||²)为核函数，h表示模板半径；函数b和δ用来判断第i个像素的颜色值是否属于特征值u；归一化系数C和C_h分别满足：

6.根据权利要求5所述的一种基于智能视觉中运动目标跟踪方法，其特征在于，所述步骤S33中目标跟踪的方法采用Mean Shift目标跟踪法。

Images