CN111667509A

CN111667509A - 目标与背景颜色相似下的运动目标自动跟踪方法及系统

Info

Publication number: CN111667509A
Application number: CN202010531057.XA
Authority: CN
Inventors: 吕晨; 程德强; 寇旗旗; 赵凯; 陈亮亮; 高蕊; 唐守锋
Original assignee: China University of Mining and Technology CUMT
Current assignee: China University of Mining and Technology CUMT
Priority date: 2020-06-11
Filing date: 2020-06-11
Publication date: 2020-09-15
Anticipated expiration: 2040-06-11
Also published as: CN111667509B

Abstract

本发明涉及目标跟踪技术领域，尤其涉及一种目标与背景颜色相似下的运动目标自动跟踪方法及系统，解决了直接采用CAMshift算法进行目标跟踪时的缺陷。方法包括：步骤S1：处理视频流，得到去噪后的序列帧图像；步骤S2：处理序列帧图像，得到第一帧图像中的前景目标；去除前景目标中的阴影，得到第一帧图像的运动目标区域；步骤S3：读取下一帧图像，将其作为当前帧图像，获取并处理当前帧图像、前一帧图像的运动目标区域的颜色‑曲率概率分布图，得到当前帧图像的候选区域；步骤S4：若当前帧图像的候选区域与前一帧图像的运动目标区域之间的巴氏距离大于距离阈值，将候选区域作为其运动目标区域；重复执行步骤S3与步骤S4，实现所述运动目标的跟踪。

Description

目标与背景颜色相似下的运动目标自动跟踪方法及系统

技术领域

本发明涉及目标跟踪技术领域，尤其涉及一种目标与背景颜色相似下的运动目标自动跟踪方法及系统。

背景技术

目标跟踪是近些年的研究热点，以颜色作为目标识别特征的CAMshift算法因其算法简单、计算量少的优点而被广泛应用，但在目标与背景颜色相似场景下，因下述原因导致其算法不能够实现运动目标的自动跟踪：

第一，CAMshift算法是一种对mean-shift算法改进的半自动跟踪算法，在目标的确定阶段需要手动圈定感兴趣区域，并提取该区域的颜色信息作为跟踪特征模板。一般情况下，运动目标的形状是不规则的，但在人工手动选取目标区域时，通常以矩形区域等规则形状予以圈定，所以圈定的矩形区域面积除了真实目标区域外还会掺杂非目标区域，即部分背景区域，这会对目标追踪的准确性造成一定程度上的干扰，并且在执行手动操作时也造成了人力资源的浪费；

第二，CAMshift算法只利用颜色特征进行跟踪，而当背景颜色与目标色彩过于相似时，跟踪窗口会同时包含目标和相似颜色的背景，此时跟踪窗口面积远大于真实目标区域面积，在一些情况下甚至会丢失目标而定位至背景区域。另外，当目标发生遮挡时，CAMshift算法同样易跟踪失败。

发明内容

鉴于上述的分析，本发明旨在提供一种目标与背景颜色相似下的运动目标自动跟踪方法及系统，用以解决现有技术中采用CAMshift算法进行目标跟踪过程中存在的上述缺陷。

本发明的目的主要是通过以下技术方案实现的：

一方面，本发明公开了一种目标与背景颜色相似下的运动目标自动跟踪方法，所述方法步骤如下：

步骤S1：获取包括所述运动目标的视频流，对视频流中的每一帧图像做去噪处理，得到去噪后的序列帧图像；

步骤S2：处理所述序列帧图像，得到第一帧图像中的前景目标；去除所述前景目标中的阴影，得到第一帧图像的运动目标区域；

步骤S3：读取下一帧图像，将其作为当前帧图像，获取并处理所述当前帧图像的颜色-曲率概率分布图、前一帧图像的运动目标区域的颜色-曲率概率分布图，得到当前帧图像的候选区域；

步骤S4：若所述当前帧图像的候选区域与前一帧图像的运动目标区域之间的巴氏距离大于距离阈值，将所述当前帧图像的候选区域作为当前帧图像的运动目标区域；

重复执行所述步骤S3与步骤S4，实现所述运动目标的跟踪。

在上述方案的基础上，本发明还做出了如下改进：

进一步，在所述步骤S4中，若所述当前帧图像的候选区域与前一帧图像的运动目标区域之间的巴氏距离不大于距离阈值，则利用SimaFC算法对所述前一帧图像的运动目标区域和所述当前帧图像进行匹配，并将匹配结果的最小外接矩阵作为当前帧图像的运动目标区域。

进一步，步骤S3中通过执行以下步骤获取所述当前帧图像的颜色-曲率概率分布图或前一帧图像的运动目标区域的颜色-曲率概率分布图：

利用直方图统计所述前一帧图像的运动目标区域或所述当前帧图像中所有像素点的色调分量，得到色调特征集合q：q＝{q_u},u＝1,…,m；m表示划分色调分量得到的级别个数，q_u表示色调分量落入第u个级别的像素点的数量；

利用直方图统计所述前一帧图像的运动目标区域或所述当前帧图像中所有像素点的曲率分量，得到曲率特征集合S：S＝{S_v},v＝1,…,n；n表示划分曲率分量得到的级别个数，S_v表示曲率分量落入第v个级别的像素点的数量；

利用所述前一帧图像的运动目标区域或所述当前帧图像中色调分量落入第u个级别的数量、曲率分量落入第v个级别的像素点的数量与所述前一帧图像的运动目标区域或所述当前帧图像的像素点总个数的比率替换所述前一帧图像的运动目标区域或所述当前帧图像中对应级别像素点的像素值，形成所述前一帧图像的目标区域或所述当前帧图像的颜色-曲率概率分布图。

进一步，将所述像素点的hessian矩阵的极大值曲率与极小值曲率的乘积作为所述像素点的曲率分量。

进一步，在所述步骤S3中，采用CAMshift算法处理所述当前帧图像的颜色-曲率概率分布图、前一帧图像的运动目标区域的颜色-曲率概率分布图，得到当前帧图像的候选区域。

进一步，在所述步骤S2中，采用高斯混合模型处理所述序列帧图像，得到所述第一帧图像中的前景目标。

进一步，所述距离阈值为0.7。

进一步，在所述步骤S1中，采用小波阈值萎缩法进行去噪处理。

另一方面，本发明公开了一种目标与背景颜色相似下的运动目标自动跟踪系统，所述系统包括：

图像去噪模块，用于获取包括所述运动目标的视频流，对视频流中的每一帧图像做去噪处理，得到去噪后的序列帧图像；

初始运动目标区域获取模块，用于处理所述序列帧图像，得到第一帧图像中的前景目标，还用于去除所述前景目标中的阴影，得到第一帧图像的运动目标区域；

运动目标区域跟踪模块，读取下一帧图像，将其作为当前帧图像，获取并处理所述当前帧图像的颜色-曲率概率分布图、前一帧图像的运动目标区域的颜色-曲率概率分布图，得到当前帧图像的候选区域；若所述当前帧图像的候选区域与前一帧图像的运动目标区域之间的巴氏距离大于距离阈值，将所述当前帧图像的候选区域作为当前帧图像的运动目标区域。

进一步，在所述运动目标区域跟踪模块中，若所述当前帧图像的候选区域与前一帧图像的运动目标区域之间的巴氏距离不大于距离阈值，则利用SimaFC算法对所述前一帧图像的运动目标区域和所述当前帧图像进行匹配，并将匹配结果的最小外接矩阵作为当前帧图像的运动目标区域。

本发明有益效果如下：

第一，针对需要手动选取目标的缺陷，本方法提出采用高斯混合模型获取第一帧图像的前景目标，同时通过去除前景目标中的阴影，最终提取出精确的运动目标区域，并且将其作为跟踪算法的初始运动目标区域，改进了需要人工手动圈定几何形状来选取目标的缺陷，避免了因手动圈定的几何形状中包括背景像素点而引入的误差，实现了全自动跟踪中的目标自动检测；

第二，通过计算运动目标区域在当前帧图像中的跟踪结果与运动目标区域的巴氏距离，判断目标的跟踪效果、以及目标是否发生遮挡；并在目标受遮挡时，使用运动目标区域和SimaFC算法对跟踪结果进行重新定位，以提升对目标被遮挡时的抗遮挡能力，解决了跟踪过程中的目标丢失问题；

第三，目标跟踪过程中，在CAMshift算法中融入了运动目标区域及各帧图像的曲率信息，形成了颜色-曲率多特征匹配的全新的目标跟踪算法，通过将目标的主曲率信息与颜色信息相结合，改进了传统CAMshift算法只利用颜色特征进行追踪存在的特征较为单一的问题，提高了目标跟踪算法的鲁棒性，解决了目标与背景颜色接近导致的算法精确度低的问题，提高了目标跟踪算法的抗干扰能力以及算法的精确度。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例中目标与背景颜色相似下的运动目标自动跟踪方法流程图；

图2为本发明实施例中目标与背景颜色相似下的运动目标自动跟踪系统结构示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

实施例1

本发明的一个具体实施例，公开了一种目标与背景颜色相似下的运动目标自动跟踪方法，流程图如图1所示，包括以下步骤：

在图像的获取、传输和存贮过程中，常常会受到各种噪声的干扰和影响而使图像降质，因此需要对获取到的视频帧进行去噪处理。示例性地，本实施例采用小波阈值萎缩法进行滤波处理以实现去噪，有效地提高了图像质量，增大了信噪比，更好的体现原来图像所携带的信息。

步骤S2：处理所述序列帧图像，得到所述第一帧图像中的前景目标；去除所述前景目标中的阴影，得到第一帧图像的运动目标区域；优选地，在本实施例中，采用高斯混合模型处理所述序列帧图像，得到所述第一帧图像中的前景目标。具体过程为：

步骤S21：读取所述序列帧图像，采用高斯混合模型处理得到所述第一帧图像中的前景目标；

高斯混合模型的建立过程说明如下：

每一个像素点所呈现的颜色用K个高斯分布的叠加来表示，单个像素点x_t其服从的混合高斯分布概率密度函数：

式中：K为高斯分布个数，通常取3-5之间；w_i,t为t时刻第i个高斯分布的权重；η(x_t,μ_i,t,ι_i,t)为t时刻第i个高斯概率密度函数；x_t＝(r_t,g_t,b_t)为t时刻像素RGB三通道的样本，μ_i,t为样本的均值，ι_i,t为协方差矩阵。

一般假设图像R，G，B即红、蓝、绿通道的像素值相互独立并且具有相同的方差，假定协方差矩阵为：

上式中

为方差，I为三维单位矩阵。

本实施例在进行运动目标检测时，执行以下步骤：

(1)参数初始化：

在第一帧图像时每个像素对应的第一个高斯分布函数进行初始化，均值赋为当前像素的值，权值赋为1，除第一以外的高斯分布函数的均值、权值和都初始化零。

(2)参数更新：

对于当前帧中的像素点通过式(2-4)来判断是否与某一个具体的高斯函数匹配：

其中，μ_i,t-1为t-1时刻第i个高斯概率密度函数均值，

为其方差。若满足式(2-4)，则认为该像素点与这个高斯函数匹配，则用此像素来更新背景模型，更新方程如式(2-5)～式(2-7):

w_i,t＝(1-α)w_i,t-1+αM_i,t (2-5)

μ_i,t＝(1-ρ)μ_i,t-1+ρX_t (2-6)

式中：

μ_k表示该特定像素中第k个高斯函数的均值，

表示其方差，M_i,t用于控制像素中多个高斯函数的权值，对于权值进行更新时，匹配的分布M_i,t＝1，否则M_i,t＝0；η(x_t,μ_i,t,ι_i,t）为t时刻第i个高斯概率密度函数，α和ρ表示更新率。w_i,t-1为t-1时刻第i个高斯分布的权重，μ_i,t-1为其均值，ι_i,t-1为其协方差矩阵。

若像素与背景模型中的任何一个高斯函数都不匹配，则增加一个高斯分布，此高斯分布取较大的方差和较小的权重。

(3)背景判断与前景获取：

由于背景中的像素长时间停留在背景中，因此它们具有较高的权值和较小的方差，相反前景具有较低的权值和较大的方差。可以通过选取合适的阈值T对背景进行判断：

w_k表示一个特定像素中第k个高斯函数的权值，与前b个高斯函数之一存在匹配的像素作为背景像素来处理，不满足上式的像素点被认为是前景。

步骤S22：去除所述前景目标中的阴影，得到第一帧图像的运动目标区域；

对阴影进行检测的方法分为基于颜色属性和基于纹理进行检测两大类，本文考虑到算法的简易性及后期跟踪处理算法也需要在HSV颜色空间内进行处理，所以选用在HSV颜色空间内对阴影进行检测。

在HSV颜色空间内，像素属性的表示方式包括色调分量H、饱和度分量S和亮度分量V三个分量。假设第一帧图像I中任一点(x,y)像素值的三个分量分别为H_I(x,y)、S_I(x,y)、V_I(x,y)，此时刻对应提取的背景图像中任一点(x,y)的三个分量分别是H_B(x,y)、S_B(x,y)、V_B(x,y)。则对于像素点(x,y)是否为阴影像素点的判别公式如下：

|H_I(x,y)-H_B(x,y)|≤TH₁ (2-10)

(S_I(x,y)-S_B(x,y))≤TH₂ (2-11)

θ≤(V_I(x,y)/V_B(x,y))≤μ (2-12)

其中，TH₁、TH₂、θ、μ是提前设置的阈值。如果满足上述判别公式，则该像素点为阴影点，对前景目标中的相应坐标点做丢弃处理，以实现阴影去除，得到纯净初始跟踪目标(即运动目标区域)。

由于不同环境下外界干扰的差异，上述四个阈值对于不同视频并不固定，为了使阴影去除达到最佳效果，本文采用自适应更新的方式对θ、μ、TH₁进行设定以保证参数设置的精确性，更新公式如下所示：

θ＝1-(E(H_I)/Max(H_I)) (2-13)

其中，E(H_I)、E(H_B)、E(S_I)、E(S_B)分别表示H_I(x,y)、H_B(x,y)、S_I(x,y)、S_B(x,y)中像素点的均值；Max(H_I)表示H_I(x,y)中像素点的最大值；Min(H_I)表示H_I(x,y)中像素点的最小值。TH₂的选取采用定值，经多次试验表明取值为-0.1时有较好去除阴影的效果。

由于获取各帧图像的运动目标区域的颜色-曲率概率分布图和获取当前帧图像的颜色-曲率概率分布图的方式一致，此处对其获取做统一说明：

通过执行以下步骤获取所述前一帧图像的运动目标区域或所述当前帧图像的颜色-曲率概率分布图：

(1)利用直方图统计所述前一帧图像的运动目标区域或所述当前帧图像中所有像素点的色调分量H，得到色调特征集合q：q＝{q_u},u＝1,…,m；m表示划分色调分量得到的级别个数，q_u表示色调分量落入第u个级别的像素点的数量；示例性地，可将H划分为256级，即m＝256。

(2)利用直方图统计所述前一帧图像的运动目标区域或所述当前帧图像中所有像素点的曲率分量Q，得到曲率特征集合S：S＝{S_v},v＝1,…,n；n表示划分曲率分量得到的级别个数，S_v表示曲率分量落入第v个级别的像素点的数量；示例性地，可将Q划分为180级。

需要说明的是，可采用以下方式得到各像素点的曲率分量：

图像中的某一点(x,y)的主曲率通过计算hessian矩阵的特征值得到，hessian矩阵是一个多元函数的二阶偏导数构成的方阵，其定义如下：

其中，*为卷积符号，G_xx、G_yy和G_xy分别代表图像沿横、纵坐标及对角线坐标方向的二阶导数滤波器。D_xx、D_yy、D_xy是灰度图像被这三个二阶导数滤波器滤波后的结果。

其中：

为高斯标准偏差。Hessian矩阵的特征值可以通过特征方程求得，特征方程为

|H-λI|＝0 (3-5)

通过上式计算得关于hessian矩阵的特征值如下：

其中：λ_min和λ_max分别是hessian矩阵特征值中的极小值和极大值即为该点的极小值曲率和极大值曲率。由于总曲率反应其总的弯曲程度，因此，将所述像素点的hessian矩阵的极大值曲率与极小值曲率的乘积作为所述像素点的曲率分量。

(3)利用所述前一帧图像的运动目标区域或所述当前帧图像中色调分量落入第u个级别的数量、曲率分量落入第v个级别的像素点的数量与所述前一帧图像的运动目标区域或所述当前帧图像的像素点总个数的比率替换所述前一帧图像的运动目标区域或所述当前帧图像中对应级别中像素点的像素值，形成所述前一帧图像的运动目标区域或所述当前帧图像的颜色-曲率概率分布图。

具体地，在该过程，将色调分量和曲率信息进行融合，即将H和Q分量组成{H-bin，Q-bin}二维坐标系在二维直方图中，横坐标为H，纵坐标是Q。统计落入对应bin的像素点数量。然后利用bin中像素点数量占全部像素点的比率替换原图中对应bin中像素点的像素值即反向投影至当前帧图像，形成运动目标区域或当前帧图像的颜色-曲率概率分布图像。

在得到当前帧图像的颜色-曲率概率分布图、前一帧图像的运动目标区域的颜色-曲率概率分布图之后，可采用CAMshift算法，处理上述颜色-曲率概率分布图得到当前帧图像的候选区域。由于CAMshift算法具体实现过程为现有技术，此处不再赘述。

步骤S4：若所述当前帧图像的候选区域与前一帧图像的运动目标区域之间的巴氏距离大于距离阈值，将所述当前帧图像的候选区域作为当前帧图像的运动目标区域，并重复执行所述步骤S3；否则，则认为目标丢失，此时利用SimaFC算法对所述运动目标区域和所述当前帧图像进行匹配，并将匹配结果的最小外接矩阵作为当前帧图像的运动目标区域；

在该步骤中，考虑到SimaFC算法是跟踪较为准确的机器学习目标跟踪算法，但运行速度慢，因此，在本实施例中，只对丢失帧运用该算法可解决CAMshift跟踪丢失问题。示例性地，距离阈值可以设置为0.7，该情况下表示候选区域和目标区域较为接近，有较好的跟踪效果。

重复执行所述步骤S3与步骤S4，实现所述运动目标的跟踪。

实施例2

本发明的具体实施例2，公开了一种目标与背景颜色相似下的运动目标自动跟踪系统，结构示意图如图2所示，该系统包括：图像去噪模块，用于获取包括所述运动目标的视频流，对视频流中的每一帧图像做去噪处理，得到去噪后的序列帧图像；初始运动目标区域获取模块，用于处理所述序列帧图像，得到第一帧图像中的前景目标，还用于去除所述前景目标中的阴影，得到第一帧图像的运动目标区域；运动目标区域跟踪模块，读取下一帧图像，将其作为当前帧图像，获取并处理所述当前帧图像的颜色-曲率概率分布图、前一帧图像的运动目标区域的颜色-曲率概率分布图，得到当前帧图像的候选区域；若所述当前帧图像的候选区域与前一帧图像的运动目标区域之间的巴氏距离大于距离阈值，将所述当前帧图像的候选区域作为当前帧图像的运动目标区域。

优选地，在所述运动目标区域跟踪模块中，若所述当前帧图像的候选区域与前一帧图像的运动目标区域之间的巴氏距离不大于距离阈值，则利用SimaFC算法对所述前一帧图像的运动目标区域和所述当前帧图像进行匹配，并将匹配结果的最小外接矩阵作为当前帧图像的运动目标区域。

上述方法实施例和系统实施例，基于相同的原理，其相关之处可相互借鉴，且能达到相同的技术效果。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种目标与背景颜色相似下的运动目标自动跟踪方法，其特征在于，所述方法步骤如下：

重复执行所述步骤S3与步骤S4，实现所述运动目标的跟踪。

2.根据权利要求1所述的目标与背景颜色相似下的运动目标自动跟踪方法，其特征在于，

在所述步骤S4中，若所述当前帧图像的候选区域与前一帧图像的运动目标区域之间的巴氏距离不大于距离阈值，则利用SimaFC算法对所述前一帧图像的运动目标区域和所述当前帧图像进行匹配，并将匹配结果的最小外接矩阵作为当前帧图像的运动目标区域。

3.根据权利要求1或2所述的目标与背景颜色相似下的运动目标自动跟踪方法，其特征在于，步骤S3中通过执行以下步骤获取所述当前帧图像的颜色-曲率概率分布图或前一帧图像的运动目标区域的颜色-曲率概率分布图：

4.根据权利要求3所述的目标与背景颜色相似下的运动目标自动跟踪方法，其特征在于，将所述像素点的hessian矩阵的极大值曲率与极小值曲率的乘积作为所述像素点的曲率分量。

5.根据权利要求3或4所述的目标与背景颜色相似下的运动目标自动跟踪方法，其特征在于，在所述步骤S3中，采用CAMshift算法处理所述当前帧图像的颜色-曲率概率分布图、前一帧图像的运动目标区域的颜色-曲率概率分布图，得到当前帧图像的候选区域。

6.根据权利要求1所述的目标与背景颜色相似下的运动目标自动跟踪方法，其特征在于，在所述步骤S2中，采用高斯混合模型处理所述序列帧图像，得到所述第一帧图像中的前景目标。

7.根据权利要求1所述的目标与背景颜色相似下的运动目标自动跟踪方法，其特征在于，所述距离阈值为0.7。

8.根据权利要求1所述的目标与背景颜色相似下的运动目标自动跟踪方法，其特征在于，在所述步骤S1中，采用小波阈值萎缩法进行去噪处理。

9.一种目标与背景颜色相似下的运动目标自动跟踪系统，其特征在于，所述系统包括：

10.根据权利要求9所述的目标与背景颜色相似下的运动目标自动跟踪系统，其特征在于，在所述运动目标区域跟踪模块中，若所述当前帧图像的候选区域与前一帧图像的运动目标区域之间的巴氏距离不大于距离阈值，则利用SimaFC算法对所述前一帧图像的运动目标区域和所述当前帧图像进行匹配，并将匹配结果的最小外接矩阵作为当前帧图像的运动目标区域。