CN108038872B - 一种基于动静态目标检测与实时压缩感知追踪研究方法 - Google Patents

Abstract

本发明公开了一种基于动静态目标检测与实时压缩感知追踪研究方法，利用自适应混合高斯前景提取从当前背景中提取出前景信息，再利用形态学处理的膨胀腐蚀使得原本处于噪声的区域删除，最后区块分析工具从背景中分离出目标，并计算出目标的数量、位置、形状、方向和大小；对长期静止不动的目标采取静态检测，将图像提取局部二值模型纹理特征并送入级联分类器中对其进行训练学习得到静态目标的位置；最后通过基于相关滤波的实时压缩感知追踪最终实时追踪当前目标，利用相关滤波的解最优性及较低的时间复杂度，并最终确定鱼类的运动轨迹。本发明降低了复杂环境的干扰对目标检测追踪结果的消极影响，达到了实时的检测追踪效果，增强了算法的鲁棒性。

Description

一种基于动静态目标检测与实时压缩感知追踪研究方法

技术领域

本发明涉及基于动静态目标检测与实时压缩感知目标追踪方法，属于智能信息处理和目标检测与追踪技术领域。

背景技术

目标检测与跟踪是绝大多数视觉系统中不可或缺的环节。在特定的场景应用中(如视频监控等领域)，自动化、快速、高鲁棒性的目标追踪受到关注。视频监控、交通检测，智能机器人，海底目标探测追踪等方面具有广阔的应用前景。

目标检测与追踪是计算机视觉领域中极其重要的一部分，运动目标检测的目的是从序列图像中分割出感兴趣的前景目标,并尽可能地抑制背景噪声和前景噪声,以准确地得到视频中感兴趣的目标区域。通过检测视频中的变化发现场景中的目标行为、目标的出现以及消失是运动目标检测的基本手段。然而,在复杂的场景下,种种干扰使得视频的变化并不一定是由于视频中运动目标所引起的，它只是反映了视频图像序列各个像素随时间的变化。因此,在复杂场景下,视频目标检测的关键在于能够准确区分出由于背景变化和目标运动所导致的视频中像素值的变化。运动目标检测的主要方法有光流法、背景差分法以及时间差分法。这些方法对于画面的画质及纯净度要求比较高，一旦有较大的噪声干扰，就会造成目标检测的丢失。

视频中运动物体跟踪算法是通过分析待追踪视频图像序列中每一帧的视频图像的信息，在视频中进行数据挖掘，学习目标行为并进行大量的动作捕捉，对信息进行一系列的处理，得到并标记出所追踪到目标在视频图像中相应的位置。物体之间的遮挡形变、背景的复杂性，光照明暗变化，实时性和健壮性差等是追踪过程亟待解决的问题。经典的追踪方法如Meanshift、粒子滤波等依赖于视频中所含目标信息的丰富程度，在实际的视频图像序列中，目标所能提供的信息相当有限，导致不能稳定的追踪目标，如场景中有形变遮挡，这些经典算法更是无能为力。

即现有技术中存在的主要问题：(1)待检测目标有诸如光照变化，形变产生的变化，以及待检测目标运动状态复杂，有动有静，导致目标漏检情况严重。(2)待追踪视频场景中追踪的过程中实时性和健壮性差，目标时空位置信息匮乏，目标特征不明显问题；(2)当场景有遮挡物和待追踪目标发生形变的情况下，尤其是会出现整个目标被遮挡和待追踪目标发生巨大的形变的状况，会导致追踪的目标丢失的问题。

发明内容

本发明的目的是提出一种基于动静态目标检测与实时压缩感知目标追踪方法，以弥补现有技术的不足。

为达到上述目的，本发明通过如下技术方案实现：

一种基于动静态目标检测与实时压缩感知目标追踪方法，包括以下步骤：

步骤一、在特定待追踪监控场景中采集n帧待追踪目标视频I＝{I₁,…,I_i,…I_n}，其中I_i表示第i帧待追踪视频图像序列，利用图像滤波去噪、对比度增强预处理待追踪视频序列

降低噪声且突出感兴趣待追踪区域；

步骤二、在第t帧待追踪视频图像序列I_t时刻自适应高斯混合模型初始高斯混合数K，允许EM训练次数H，以及阈值α_t1,α_t2,D_t,σ_t；

步骤三、运用EM算法进行参数估计训练模型，每次训练后次数加1；若是最后一次训练，则跳到步骤五，否则顺序执行；

步骤四、对于训练得出的模型，若某一高斯分量(w_i,μ_i,∑_i)权重小于阈值α_t1，说明这个分量没有实际价值，需要消除，消减一个高斯核，若某一高斯分量(w_i,μ_i,∑_i)权重大于阈值α_t2，说明这个高斯分量包含了太多的信息，可以将此分量分裂，形成两个新的高斯分布

和

步骤五、训练终止，得到自适应高斯混合模型，并由自适应高斯混合模型提取s个前景目标(B₁(x,y),...,B_i(x,y),...,B_s(x,y))；

步骤六、在I_t+1中，根据得到的自适应高斯混合模型得到s个前景目标(B₁(x,y),...,B_i(x,y),...,B_s(x,y)，其中(x,y)代表目标中心位置，计算图像局部二值模式的特征样本F，经过T次的循环以后得到T个不同的弱分类器和他们对应的权重，然后对他们加权组合就得到一个强分类器；

步骤七、强分类器对输入图像以滑动窗形式检测，检测到k个前景目标(B₁(x,y),...,B_k(x,y))；

步骤八、合并步骤六和步骤七的检测结果，得到S＝s+k个检测前景目标：(B₁(x,y),...,B_i(x,y),...,B_s(x,y),...,B_s+k(x,y))；

步骤九、在快速压缩感知追踪中采取由粗到细的两步搜索机制，找到具有最大分类器响应的跟踪位置(x,y)_t，也就是最终的追踪位置。

进一步的，所述步骤三中EM算法的具体求解步骤：

E步：

M步：

进一步的，所述步骤四具体包括以下步骤：

4.1对于训练得出的模型，若某一高斯分量(w_i,μ_i,∑_i)权重小于阈值α_t1，说明这个分量没有实际价值，需要消除；最近分量(w_j,μ_j,∑_j)对这个分量进行吸收，吸收按照以下方式处理：

权重处理:w_k＝w_i+w_j

均值处理：

方差处理：∑_k＝∑_i

高斯混合数K＝K-1，并返回步骤三进行新一轮EM训练；

4.2.若某一高斯分量(w_i,μ_i,∑_i)权重大于阈值α_t2，说明这个高斯分量包含了太多的信息，可以将此分量分裂，

分裂处理如下；

权重处理:

均值处理：

方差处理：

这样，形成两个新的高斯分布

和

高斯混合数K＝K+1，并返回步骤三，进行新一轮EM训练。

进一步的，所述步骤六包括以下具体步骤：

6.1、在I_t+1中，根据得到的自适应高斯混合模型得到s个前景目标(B₁(x,y),...,B_i(x,y),...,B_s(x,y)，其中(x,y)代表目标中心位置；

6.2、在静态检测阶段，首先，计算图像局部二值模式(LBP)的特征样本F；

6.3、假设有N个训练样本，{F₁,y₁},...{F_n,y_n},...,{F_N,y_N}，其中y_n的取值为1或-1，分别对应于鱼特征样本和非鱼特征样本，其中人脸样本的个数为m₁，非人脸样本的个数为m₂；其中样本的权重初始化为：对于y_n＝1的样本是w_1,n＝1/2m₁，对于y_n＝-1的样本是w_-1,n＝1/2m₂；

6.4、经过T次的循环以后得到T个不同的弱分类器和他们对应的权重，然后对他们加权组合就得到一个强分类器；

(1)对t＝1,...,T，归一化样本的权重

(2)训练出一个弱分类器h_n(x)然后计算其分类错误率

(3)选出错误率最小的一个弱分类器作为h₁，其错误率即为ε₁，

(4)最后就得到了一个由T个弱分类组成的强分类器H(x)，

进一步的，所述步骤九具体包括以下步骤；

9.1在目标区域粗略地采样一组图像块

其中(x,y)_t-1是通过移位像素数量在第(t-1)帧处的跟踪位置，并且以低维度提取特征；

9.2对每个特征向量v(Z)使用分类器HC，并找到具有最大分类器响应的跟踪位置(x,y)'_t；

9.3、通过移位多个像素Δ_f来精细地采样一组图像块

并且以低维度提取特征；

9.4、在

中对每个特征向量v(Z)使用分类器HC，并找到具有最大分类器响应的跟踪位置(x,y)_t；

9.5、采样两组图像块

和

并使用这两组采样提取特征；

9.6、根据

更新分类器参数。

本发明提出了自使用混合高斯模型动态检测与局部二值模型结合级联分类器静态检测联合检测的思路解决目标追踪的问题。在线追踪算法在开始学习的阶段存在用于在线算法数据学习数量不足的问题；其次，在线跟踪算法也经常遇到漂移问题。作为自学习的结果，算法可能因此添加不好的样本并导致外观模型的退化。本发明构造非常稀疏的测量矩阵以快速有效地提取外观模型的特征。

本发明使用相同的稀疏测量矩阵来压缩前景目标和背景的样本图像，通过在压缩域中在线更新的朴素贝叶斯分类器将跟踪任务表达为二分类任务；采用由粗到细的搜索策略以进一步降低检测过程中的计算复杂度。针对形变以及遮挡问题，增加时间关系信息，使用相关滤波思想充分利用当前帧与之前帧的联系，所提出的基于相关滤波的压缩跟踪算法相比原压缩追踪算法在效率，准确性和鲁棒性方面都有了很大的进步，实现了一种健壮性佳、高鲁棒性的追踪效果。

本发明的有益效果：本发明融合了检测与追踪算法，针对复杂环境设计动静态联合检测的思想，比较好地从视频图像中找到目标并定位目标的位置。因检测并不能很好解决目标遮挡问题，接下来利用压缩感知追踪算法实时定位目标的位置，解决了追踪过程中实时性和健壮性差、目标时空位置信息匮乏、目标特征不明显以及形变遮挡以导致追踪目标丢失的问题。本发明极大地提高了追踪的精度，实现了一种健壮性佳、高鲁棒性的追踪过程。

附图说明

图1是本发明的整体流程图。

图2是实施例1中海洋环境待检测与追踪图像。

图3是图2分离前景与背景得到前景目标图像。

图4是图2寻找静态目标并消除与图3重复目标后的图像。

图5是压缩感知追踪的基本框架图。

图6是实施例1中存在遮挡及光照变化情况下的检测追踪效果图。

具体实施方式

为使本发明的目的、实施方案和优点更为清晰，下面结合附图并通过具体实施例来进一步说明本发明。

实施例1：

由于海洋水下环境中鱼类的动态较为复杂，难以捕捉，现有的追踪方法难以对其进行较为准确追踪，为验证本发明所提供追踪方法的极佳的健壮性和高鲁棒性，因此选择海洋水下环境的鱼类动态为追踪对象，极具代表性。

本实施例的具体流程图如图1所示。

本实施例中具体采用一段如图2所示，从山东省海洋牧场拍摄得到的海洋环境下夜间鱼类活动视频(1920*1080像素，每秒25帧)作为待检测和追踪视频。

一种基于动静态目标检测与实时压缩感知目标追踪方法，包括以下步骤：

步骤一、在特定待追踪监控场景中采集n帧待追踪目标视频A＝{I₁,…,I_i,…I_n}，其中I_i表示第i帧待追踪视频图像序列，利用图像滤波去噪、对比度增强预处理待追踪视频序列

降低噪声且突出感兴趣待追踪区域；

步骤二、在第t帧待追踪视频图像序列I_t时刻自适应高斯混合模型初始高斯混合数K，允许EM训练次数H，以及阈值α_t1,α_t2,D_t,σ_t；

步骤三、运用EM算法进行参数估计训练模型，每次训练后次数加1；若是最后一次训练，则跳到步骤六，否则顺序执行；

步骤四、

4.1对于训练得出的模型，若某一高斯分量(w_i,μ_i,∑_i)权重小于阈值α_t1，说明这个分量没有实际价值，需要消除；最近分量(w_j,μ_j,∑_j)对这个分量进行吸收，吸收按照以下方式处理：

权重处理:w_k＝w_i+w_j

均值处理：

方差处理：∑_k＝∑_i

高斯混合数K＝K-1，并返回步骤三进行新一轮EM训练；

4.2.若某一高斯分量(w_i,μ_i,∑_i)权重大于阈值α_t2，说明这个高斯分量包含了太多的信息，可以将此分量分裂，

分裂处理如下；

权重处理:

均值处理：

方差处理：

这样，形成两个新的高斯分布

和

高斯混合数K＝K+1，并返回步骤三，进行新一轮EM训练；

步骤五、训练终止，得到自适应高斯混合模型，并由自适应高斯混合模型提取s个前景目标(B₁(x,y),...,B_i(x,y),...,B_s(x,y))，经过这一步骤最终得到图3所示效果；

步骤六、

6.1、在I_t+1中，根据得到的自适应高斯混合模型得到s个前景目标(B₁(x,y),...,B_i(x,y),...,B_s(x,y)，其中(x,y)代表目标中心位置；

6.2、在静态检测阶段，首先，计算图像局部二值模式(LBP)的特征样本F；

6.3、假设有N个训练样本，{F₁,y₁},...{F_n,y_n},...,{F_N,y_N}，其中y_n的取值为1或-1，分别对应于鱼特征样本和非鱼特征样本，其中人脸样本的个数为m₁，非人脸样本的个数为m₂；其中样本的权重初始化为：对于y_n＝1的样本是w_1,n＝1/2m₁，对于y_n＝-1的样本是w_-1,n＝1/2m₂；

6.4、经过T次的循环以后得到T个不同的弱分类器和他们对应的权重，然后对他们加权组合就得到一个强分类器；

(5)对t＝1,...,T，归一化样本的权重

(6)训练出一个弱分类器h_n(x)然后计算其分类错误率

(7)选出错误率最小的一个弱分类器作为h₁，其错误率即为ε₁，

(8)最后就得到了一个由T个弱分类组成的强分类器H(x)，

步骤七、强分类器对输入图像以滑动窗形式检测，检测到k个前景目标(B₁(x,y),...,B_k(x,y))；

步骤八、合并前两步的检测结果，得到S＝s+k个检测前景目标：(B₁(x,y),...,B_i(x,y),...,B_s(x,y),...,B_s+k(x,y))，也就是图4所示的结果；

步骤九、检测到目标后接下来是对目标的持续追踪，图5是压缩感知追踪的基本框架图，在快速压缩感知追踪中采取由粗到细的两步搜索机制；

9.1在目标区域粗略地采样一组图像块

其中(x,y)_t-1是通过移位像素数量在第(t-1)帧处的跟踪位置，并且以低维度提取特征；

9.2对每个特征向量v(Z)使用分类器HC，并找到具有最大分类器响应的跟踪位置(x,y)'_t；

9.3、通过移位多个像素Δ_f来精细地采样一组图像块

并且以低维度提取特征；

9.4、在

中对每个特征向量v(Z)使用分类器HC，并找到具有最大分类器响应的跟踪位置(x,y)_t；

9.5、采样两组图像块

和

并使用这两组采样提取特征；

9.6、根据

更新分类器参数。

循环重复上述步骤，直至检测追踪完成整个视频序列，图6是最终的检测追踪标定目标的结果图。

本实施例考虑到海洋环境的复杂性，海洋中水下成像后向散射、浑浊水体、泥沙、海流、浮游植物、摆动的水草导致光学图像成像质量下降或干扰，以及鱼体本身的快速游动以及大幅度的形态改变对鱼类的检测造成的困难，对于活跃鱼类频繁活动造成的背景差异，利用自适应的高斯混合模型从当前背景中提取出前景信息；利用鱼类本身具有的问题丰富，与背景纹理差异较大的特点，将图像提取局部二值模型纹理特征并送入级联分类器中对其进行训练学习得到静态鱼类的位置。

以上所述是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于动静态目标检测与实时压缩感知目标追踪方法，其特征在于，包括以下步骤：

步骤一、在特定待追踪监控场景中采集n帧待追踪目标视频I＝{I₁，…，I_i，…I_n}，其中I_i表示第i帧待追踪视频图像序列，利用图像滤波去噪、对比度增强预处理待追踪视频序列

降低噪声且突出感兴趣待追踪区域；

步骤二、在第t帧待追踪视频图像序列I_t时刻自适应高斯混合模型初始高斯混合数K，允许EM训练次数H，以及阈值α_t1，α_t2，D_t，σ_t；

步骤三、运用EM算法进行参数估计训练模型，每次训练后次数加1；若是最后一次训练，则跳到步骤五，否则顺序执行；

步骤四、对于训练得出的模型，若某一高斯分量(w_i，μ_i，∑_i)权重小于阈值α_t1，说明这个分量没有实际价值，需要消除，消减一个高斯核，若某一高斯分量(w_i，μ_i，∑_i)权重大于阈值α_t2，说明这个高斯分量包含了太多的信息，可以将此分量分裂，形成两个新的高斯分布

和

步骤五、训练终止，得到自适应高斯混合模型，并由自适应高斯混合模型提取s个前景目标(B₁(x，y)，…，B_i(x，y)，…，B_s(x，y))；

步骤六、在I_t+1中，根据得到的自适应高斯混合模型得到s个前景目标(B₁(x，y)，...，B_i(x，y)，...，B_s(x，y))，其中(x，y)代表目标中心位置，计算图像局部二值模式的特征样本F，经过T次的循环以后得到T个不同的弱分类器和他们对应的权重，然后对他们加权组合就得到一个强分类器；

步骤七、强分类器对输入图像以滑动窗形式检测，检测到k个前景目标(B₁(x，y)，…，B_k(x，y))；

步骤八、合并步骤六和步骤七的检测结果，得到S＝s+k个检测前景目标：(B₁(x，y)，…，B_i(x，y)，…，B_s(x，y)，…，B_s+k(x，y))；

步骤九、在快速压缩感知追踪中采取由粗到细的两步搜索机制，找到具有最大分类器响应的跟踪位置(x，y)_t，也就是最终的追踪位置。

2.如权利要求1所述的追踪方法，其特征在于，所述步骤三中EM算法的具体求解步骤：

E步：

M步：

3.如权利要求1所述的追踪方法，其特征在于，所述步骤四具体包括以下步骤：

4.1对于训练得出的模型，若某一高斯分量(w_i，μ_i，∑_i)权重小于阈值α_t1，说明这个分量没有实际价值，需要消除；最近分量(w_j，μ_j，∑_j)对这个分量进行吸收，吸收按照以下方式处理：

权重处理：w_k＝w_i+w_j

均值处理：

μ_k＝d_i·μ_i+d_j·μ_j

方差处理：∑_k＝∑_i

高斯混合数K＝K-1，并返回步骤三进行新一轮EM训练；

4.2.若某一高斯分量(w_i，μ_i，∑_i)权重大于阈值α_t2，说明这个高斯分量包含了太多的信息，可以将此分量分裂，

分裂处理如下；

权重处理：

均值处理：

方差处理：

这样，形成两个新的高斯分布

和

高斯混合数K＝K+1，并返回步骤三，进行新一轮EM训练。

4.如权利要求1所述的追踪方法，其特征在于，所述步骤六包括以下具体步骤：

6.1、在I_t+1中，根据得到的自适应高斯混合模型得到s个前景目标(B₁(x，y)，...，B_i(x，y)，...，B_s(x，y)) ，其中(x，y)代表目标中心位置；

6.2、在静态检测阶段，首先，计算图像局部二值模式(LBP)的特征样本F；

6.3、假设有N个训练样本，{F₁，y₁}，...{F_n，y_n}，...，{F_N，y_N}，其中y_n的取值为1或-1，分别对应于鱼特征样本和非鱼特征样本，其中人脸样本的个数为m₁，非人脸样本的个数为m₂；其中样本的权重初始化为：对于y_n＝1的样本是w_1，n＝1/2m₁，对于y_n＝-1的样本是w_-1，n＝1/2m₂；

6.4、经过T次的循环以后得到T个不同的弱分类器和他们对应的权重，然后对他们加权组合就得到一个强分类器；

(1)对t＝1，...，T，归一化样本的权重

(2)训练出一个弱分类器h_n(x)然后计算其分类错误率

(3)选出错误率最小的一个弱分类器作为h₁，其错误率即为ε₁，

(4)最后就得到了一个由T个弱分类组成的强分类器H(x)，

5.如权利要求1所述的追踪方法，其特征在于，所述步骤九具体包括以下步骤；

9.1在目标区域粗略地采样一组图像块

其中(x，y)_t-1是通过移位像素数量在第t-1帧处的跟踪位置，并且以低维度提取特征；

9.2对每个特征向量v(Z)使用分类器HC，并找到具有最大分类器响应的跟踪位置(x，y)′_t；

9.3、通过移位多个像素Δ_f来精细地采样一组图像块

并且以低维度提取特征；

9.4、在

中对每个特征向量v(Z)使用分类器HC，并找到具有最大分类器响应的跟踪位置(x，y)_t；

9.5、采样两组图像块

和

并使用这两组采样提取特征；

9.6、根据

更新分类器参数。

Images