CN105872859A - 基于对象的运动目标轨迹提取的视频浓缩方法 - Google Patents

Abstract

本发明公开一种基于运动目标轨迹提取的视频浓缩方法。它是利用码本模型运动检测，融合颜色和纹理特征，对目标进行综合推理匹配，可适应图像形变，适用颜色过暗情况，受背景像素干扰少，通过优化建模、轨迹分析、轨迹预测，极大提高视频浓缩过程中运动目标提取的准确性和完整性，降低视频浓缩后的目标丢失率。

Description

基于对象的运动目标轨迹提取的视频浓缩方法

所属技术领域

本发明涉及一种视频浓缩方法，尤其是基于对象的运动目标轨迹提取的方法。

背景技术

目前，公知的视频浓缩方法易受背景干扰，视频浓缩结果中运动目标易丢失。

CN Pat.No.201510802199.4提出了通过视频分段和H264编码建模生成视频摘要的方法。该方法将视频分割成n个长度近似的片段，再通过基于集群及H264的视频浓缩算法生成摘要，过程中设计反复解码编码，这就限制了在实际应用中的时效性。并且，该方法通过对比亮帧的灰度变化并对应像素相减来建模，当前景和背景颜色相似，亮度差异小时，前景分割将模糊。

CN Pat.No.201510419604.4提出了基于视频帧的目标跟踪方法。该方法通过分析两帧的像素重叠点是否相近区域面积来判定是否为同一目标，这种方法计算量小，运算快，可以快速初步提取出运动目标。但是当目标被部分遮挡时，该方法提出的目标提取和目标跟踪方法将受到非常大的干扰。该专利目的在于实现快速的运动跟踪，可是在运动目标检测过程易受到干扰，这将影响目标跟踪的结果。

基于对象的运动目标轨迹提取的视频浓缩方法，它是利用码本模型运动检测检测出运动目标，融合颜色和纹理特征，对目标进行综合推理匹配，可适应图像形变，适用颜色过暗情况，受背景像素干扰少，通过优化建模、轨迹分析、轨迹预测，极大提高视频浓缩过程中运动目标提取的准确性和完整性，降低视频浓缩后的目标丢失率。

发明内容

为了解决视频浓缩结果中运动目标丢失的问题，本发明优化建模、轨迹分析、轨迹预测，建立目标的综合推理匹配策略，来解决建模以后目标边缘不清晰、不能完整提取目标的运动轨迹、遗漏运动目标的问题。

一种基于对象的运动目标轨迹提取的视频浓缩方法包括：对于运动目标的检测提取单元；对于运动目标的轨迹预测单元；运动目标的轨迹匹配单元。

优选的，在上述的一种基于对象的运动目标轨迹提取的视频浓缩方法中，所述对于运动目标的检测提取单元包括：运动目标的检测计算单元；运动目标的提取计算单元。

优选的，在上述的一种基于对象的运动目标轨迹提取的视频浓缩方法中，所述运动目标的轨迹匹配单元包括：目标的多特征融合计算单元；目标的综合推理匹配策略计算单元。

本发明公开一种基于运动目标轨迹提取的视频浓缩方法，包括如下步骤：

A.数据矢量量化编码

B.码本模型运动检测

C.对于运动目标的轨迹预测

D.目标的多特征融合

E.目标的综合推理匹配

优选的，在上述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，所述步骤A包括如下步骤：

A1.对原始数据分割成大小相同的块，每个小块包含了许多像素；

A2.形成由左至右、由上而下地串成一个向量；

A3.收集具有代表性的向量制作出码本，找出其中跟此小块最接近的码字的索引值代替此小块，组成一张索引表；将此作为原始数据压缩的结果。

优选的，在上述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，所述步骤B包括如下步骤：

B1.在视频帧的每一个像素位置，为该位置建立了包含了一个或多个码字的码本；视频序列中一个像素点的训练序列为X＝{x₁,x₂…x_N},该像素对应的码本为C＝{c₁,c₂…c_L}，每个码字c_i为二元组结构c_i＝<v_i,u_i>。v_i对应该码字的累积RGB三通道的平均颜色值。其中各个参数分别表示码字对应像素的最小、最大亮度值，码字出现的字数，码字在训练中未出现的最大间隔时间以及第一次和最后一次访问的时间。

B2.检测像素运动情况；对于t时刻待检测的像素，将当前像素值x_t与对应的码本进行比较，如果没有相匹配的码字，则创建一个新的码字u_L＝<I,I,1,t-1,t,t>添加到其码本中；如果匹配的码字有多个，则根据颜色相似度和亮度范围确定匹配最好的码字并更新码本，公式如下

B3.当训练结束后，为每个码字c_i更新未访问的最大时间间隔Υ_i为

Υ_i＝max{Υ_i,N-q_i+p_i-1}。

优选的，在上述的一种基于运动目标轨迹提取的视频浓缩方法，所述的步骤C利用基于均值漂移的粒子滤波器来实现目标轨迹预测，包括如下步骤：

C1：检验分布预测得到的粒子；计算t-1时刻的待跟踪目标特征概率函数F_m(t-1)，其中心为x_t-1，和t时刻的N个粒子中第p个粒子特征概率函数F_m ^(p)(t)，其中心为s_t ^(p)，得出目标偏移向量

C2：按照偏移向量调整t时刻的目标位置，其中核函数为G(X)，C_t ^(p)为加权系数；公式如下

$M_{h,s_t^{\left(p\right)}}=\frac{\underset{i=1}{\overset{N}{\&Sigma;}}G\left(\frac{s_t^{\left(p\right)}-x_{t-1}}{h}\right)C_t^{\left(p\right)}{s}_t^{\left(p\right)}}{\underset{i=1}{\overset{N}{\&Sigma;}}G\left(\frac{s_t^{\left(p\right)}-x_{t-1}}{h}\right)C_t^{\left(p\right)}}-x_{t-1}$

$C_t^{\left(p\right)}=\underset{i=1}{\overset{N}{\&Sigma;}}\sqrt{\frac{F_m\left(t-1\right)}{F_m^{\left(p\right)}\left(t\right)}}$

优选的，在上述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，所述的步骤D包括如下步骤：

D1：通过RGB区域加权直方图方式提取场景的颜色特征；L为颜色量化阶数，则第i个颜色粒子对应区域的加权直方图定义公式如下

$p^{\left(u\right),\left(i\right)}\left(\mathrm{\&tau;}\right)=\frac{1}{C}\underset{i=1}{\overset{L}{\&Sigma;}}k\left(\frac{\left|\right|\mathrm{\&tau;}-{\mathrm{\&tau;}}_i\left|\right|}{h}\right)\mathrm{\&delta;}\left(\mathrm{\&psi;}\right({\mathrm{\&tau;}}_i-u\left)\right)$

其中

$\underset{i=1}{\overset{L}{\&Sigma;}}k\left(\frac{\left|\right|\mathrm{\&tau;}-{\mathrm{\&tau;}}_i\left|\right|}{h}\right)$

是归一化因子；S表示区域内像素的个数；τ表示区域中心的像素点，τ_i表示区域中某个像素点，τ-τ_i表示τ到τ_i的距离；h是核带宽；用核函数k(·)降低周围区域与背景相似的像素点带来的干扰；

D2：权重分配；给靠近区域中心的像素所对应的颜色特征赋予较高的权值；δ为Kronecker余子函数；ψ(τ_i)表示τ_i位置处像素的颜色阶数；μ为颜色直方图阶数，取值范围为(1,2,…,s)；设和分别为目标颜色直方图模板和在t时刻以为中心的i个颜色粒子所对应的颜色直方图，则其对应的颜色特征观测概率如下公式

$p\left(z_t\right|{x_{t,color}}^{\left(i\right)})=\underset{u=1}{\overset{s}{\&Sigma;}}\sqrt{q_0^{\left(u\right)}{p_t}^{\left(u\right),\left(i\right)}\left(\mathrm{\&tau;}\right)}$

则第i个颜色粒子的权重更新后如下公式

$w_{t,color}^{\left(i\right)}=w_{t-1,color}^{\left(i\right)}p\left(z_t|{x_{t,color}}^{\left(i\right)}\right)$

D3：通过边缘加权直方图方式提取场景的纹理特征，融合纹理特征和颜色特征，共同对运动目标进行状态估计；

t时刻运动目标s的状态估计如下公式

$x_t^{\left(s\right)}=\underset{i=1}{\overset{N_{color}}{\mathrm{\&Sigma;}}}{\&part;}_{t,color}^{\left(s\right)}\&CenterDot;x_{t,color}^{\left(i\right)}+\underset{j=1}{\overset{N_{edge}}{\mathrm{\&Sigma;}}}{\&part;}_{t,edge}^{\left(s\right)}\&CenterDot;x_{t,edge}^{\left(j\right)}$

其中，N_color与N_cedge表示颜色特征与边缘特征各自的粒子数目，表示第i个颜色粒子在t时刻状态，表示第j个边缘粒子在t时刻状态，

其t时刻目标s的第k个特征的贡献度函数跟新为：

${\&part;}_{t,k}^{\left(s\right)}=\frac{{\&part;}_{t-1,k}^{\left(s\right)}\&CenterDot;d_{t-1,k}^{\left(s\right)}}{\underset{i=1}{\overset{N_k}{\mathrm{\&Sigma;}}}{\&part;}_{t-1,k}^{\left(s\right)}\&CenterDot;d_{t-1,k}^{\left(s\right)}}$

$d_{t-1,k}^{\left(s\right)}=\frac{p\left(z_{t-1}|{x_{t-1,k}}^{\left(s\right)}\right)}{p\left(z_{t-2}|{x_{t-2,k}}^{\left(s\right)}\right)}$

N_k表示目标参考特征数目，反应特征的线索有效性的变化；在当某一特征线索退化时候，自动减少该特征贡献度，增加仍然具有鲁棒性的特征贡献度进行跟踪。

优选的，在上述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，所述的步骤E对于如下场景的处理计算方法：

建立t时刻的目标跟踪列表与目标检测列表之间的推理关系矩阵P、各个目标的线索矩阵目标挂起标识生命周期

场景一：目标离开场景：P_m＝0表明目标退出场景或者被完全遮挡。当时，将目标从跟踪列表移除，否则，将目标挂起，

场景二：目标进入场景：P_n＝0，将信息加入到跟踪目标列表中；

场景三：多目标合并：P_n>1，多个单独的运动目标聚集到了一起，形成了一个较大的聚集目标，目标间存在交错遮挡；将将目标挂起，，利用的速度信息更新边界矩阵，其余特征不进行更新；

场景四：孤立目标简单运动：P_m＝1，P_n＝1， 均为0，与匹配；利用更新校正的特征信息；

场景五：目标分裂：P_m>1，多目标发生了分裂，这可能是目标被出现在场景中的栏杆、树木等物体部分遮挡，也可能是本身聚集在一起的多个运动目标发生了分裂，分裂出的目标为曾被跟踪的，恢复的跟踪信息，将置为FALSE，利用更新校正的特征信息；P_m>1，表明多目标发生了分裂，分裂出的是以前未被跟踪的新目标，将信息加入到跟踪目标列表中；

场景六：遮挡：部分遮挡，P_m＝1，P_n＝1， 中存在且不是所有的表明目标开始发生遮挡或者形变，但其形变或者遮挡情况仍较为轻微，其跟踪特征信息仍可信，利用更新校正的特征信息；静态背景障碍物遮挡，P_m＝1，P_n＝1，所有利用更新校正新目标的边界矩阵信息，但不更新目标的其余特征，同时将置为TRUE对目标的生命周期开始每帧自增1；

场景七：遮挡后恢复跟踪：P_m＝1，P_n＝1，表明目标是曾经被背景障碍物遮挡的又一次出现在场景中，恢复跟踪。利用更新校正的特征信息；恢复对跟踪同时将置为FALSE。

与现有技术相比，本发明具有如下技术效果：

采用本发明方案，它是利用码本模型运动检测，融合颜色和纹理特征，对目标进行综合推理匹配，可适应图像形变，适用颜色过暗情况，受背景像素干扰少，通过优化建模、轨迹分析、轨迹预测，极大提高视频浓缩过程中运动目标提取的准确性和完整性，降低视频浓缩后的目标丢失率。

附图说明

图1是本发明矢量量化编码示意图；

图2是本发明本模型检测流程图；

图3是本发明GrabCut算法前景背景分割效果图；

图4是本发明目标特征分析计算流程图；

图5是本发明RGB区域加权直方图特征生成流程图；

图6是本发明颜色纹理综合特征生成流程图；

图7是本发明目标的综合推理匹配结构图；

图8是本发系统整体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开一种基于运动目标轨迹提取的视频浓缩方法，包括：对于运动目标的检测提取单元；对于运动目标的轨迹预测单元；运动目标的轨迹匹配单元。

其中，上述对于运动目标的检测提取单元包括：运动目标的检测计算单元；运动目标的提取计算单元。

上述运动目标的轨迹匹配单元包括：目标的多特征融合计算单元；目标的综合推理匹配策略计算单元。

如图8所示，本发明公开的视频浓缩方法包括多个数据源：如RGB区域加权直方图像，边缘加权直方图像。本发明公开的一种基于运动目标轨迹提取的视频浓缩方法，首先对像素进行矢量量化编码；然后利用码本模型检测出运动目标；通过GrabCut分离前景背景；然后提取目标的RGB区域加权直方图特征和边缘加权直方图特征，融合颜色和纹理特征，共同对运动目标进行状态估计；然后通过目标的综合推理匹配策略得到目标的运动轨迹。

如图1所示，对像素进行矢量量化编码，把原始数据分割成大小相同的块，每个小块包含了许多像素；形成由左至右、由上而下地串成一个向量；收集具有代表性的向量制作出码本，找出其中跟此小块最接近的码字的索引值代替此小块，组成一张索引表；将此作为原始数据压缩的结果。

如图2所示，在上述的运动目标的检测计算单元，利用码本模型检测出运动目标，在视频帧的每一个像素位置，为该位置建立了包含了一个或多个码字的码本；

视频序列中一个像素点的训练序列为X＝{x₁,x₂…x_N},该像素对应的码本为C＝{c₁,c₂…c_L}，每个码字c_i为二元组结构c_i＝<v_i,u_i>。v_i对应该码字的累积RGB三通道的平均颜色值。其中各个参数分别表示码字对应像素的最小、最大亮度值，码字出现的字数，码字在训练中未出现的最大间隔时间以及第一次和最后一次访问的时间。

检测像素运动情况；对于t时刻待检测的像素，将当前像素值x_t与对应的码本进行比较，如果没有相匹配的码字，则创建一个新的码字u_L＝<I,I,1,t-1,t,t>添加到其码本中；如果匹配的码字有多个，则根据颜色相似度和亮度范围确定匹配最好的码字并更新码本，公式如下

当训练结束后，为每个码字c_i更新未访问的最大时间间隔Υ_i为

Υ_i＝max{Υ_i,N-q_i+p_i-1}。

如图3中(a)所示，使用GrabCut算法分割前景背景，该算法利用了图像中的颜色信息和边界信息，只要少量的用户交互操作即可得到比较好的分割结果。如图3中(b)所示，在通过深度学习算法训练后，可更完整体提取出目标和背景相似的部分。

GrabCut函数说明：

函数原型：

void cv::grabCut(const Mat&img,Mat&mask,Rect rect,

Mat&bgdModel,Mat&fgdModel,

int iterCount,int mode)

其中：

img——待分割的源图像，必须是8位3通道(CV_8UC3)图像，在处理的过程中不会被修改；

mask——掩码图像，如果使用掩码进行初始化，那么mask保存初始化掩码信息；在执行分割的时候，也可以将用户交互所设定的前景与背景保存到mask中，然后再传入GrabCut函数；在处理结束之后，mask中会保存结果。mask只能取以下四种值：

GCD_BGD(＝0)，背景；

GCD_FGD(＝1)，前景；

GCD_PR_BGD(＝2)，可能的背景；

GCD_PR_FGD(＝3)，可能的前景。

如果没有手工标记GCD_BGD或者GCD_FGD，那么结果只会有GCD_PR_BGD或GCD_PR_FGD；

rect——用于限定需要进行分割的图像范围，只有该矩形窗口内的图像部分才被处理；

bgdModel——背景模型，如果为null，函数内部会自动创建一个bgdModel；bgdModel必须是单通道浮点型(CV_32FC1)图像，且行数只能为1，列数只能为13x5；

fgdModel——前景模型，如果为null，函数内部会自动创建一个fgdModel；fgdModel必须是单通道浮点型(CV_32FC1)图像，且行数只能为1，列数只能为13x5；

iterCount——迭代次数，必须大于0；

mode——用于指示grabCut函数进行什么操作，可选的值有：

GC_INIT_WITH_RECT(＝0)，用矩形窗初始化GrabCut；

GC_INIT_WITH_MASK(＝1)，用掩码图像初始化GrabCut；

GC_EVAL(＝2)，执行分割。

完成目标与背景的分离。

如图4所示，将目标与背景分离后，利用基于均值漂移的粒子滤波器来实现目标轨迹预测。

检验分布预测得到的粒子；计算t-1时刻的待跟踪目标特征概率函数F_m(t-1)，其中心为x_t-1，和t时刻的N个粒子中第p个粒子特征概率函数F_m ^(p)(t)，其中心为s_t ^(p)，得出目标偏移向量

按照偏移向量调整t时刻的目标位置，其中核函数为G(X)，C_t ^(p)为加权系数；公式如下

$M_{h,s_t^{\left(p\right)}}=\frac{\underset{i=1}{\overset{N}{\&Sigma;}}G\left(\frac{s_t^{\left(p\right)}-x_{t-1}}{h}\right)C_t^{\left(p\right)}{s}_t^{\left(p\right)}}{\underset{i=1}{\overset{N}{\&Sigma;}}G\left(\frac{s_t^{\left(p\right)}-x_{t-1}}{h}\right)C_t^{\left(p\right)}}-x_{t-1}$

$C_t^{\left(p\right)}=\underset{i=1}{\overset{N}{\&Sigma;}}\sqrt{\frac{F_m\left(t-1\right)}{F_m^{\left(p\right)}\left(t\right)}}$

如图5所示，通过RGB区域加权直方图方式提取场景的颜色特征；L为颜色量化阶数，则第i个颜色粒子对应区域的加权直方图定义如下公式

$p^{\left(u\right),\left(i\right)}\left(\mathrm{\&tau;}\right)=\frac{1}{C}\underset{i=1}{\overset{L}{\&Sigma;}}k\left(\frac{\left|\right|\mathrm{\&tau;}-{\mathrm{\&tau;}}_i\left|\right|}{h}\right)\mathrm{\&delta;}\left(\mathrm{\&psi;}\right({\mathrm{\&tau;}}_i-u\left)\right)$

其中,

$\underset{i=1}{\overset{L}{\&Sigma;}}k\left(\frac{\left|\right|\mathrm{\&tau;}-{\mathrm{\&tau;}}_i\left|\right|}{h}\right)$

是归一化因子；S表示区域内像素的个数；τ表示区域中心的像素点，τ_i表示区域中某个像素点，τ-τ_i表示τ到τ_i的距离；h是核带宽；用核函数k(·)降低周围区域与背景相似的像素点带来的干扰。

给靠近区域中心的像素所对应的颜色特征赋予较高的权值；δ为Kronecker余子函数；ψ(τ_i)表示τ_i位置处像素的颜色阶数；μ为颜色直方图阶数，取值范围为(1,2,…,s)；设和分别为目标颜色直方图模板和在t时刻以为中心的i个颜色粒子所对应的颜色直方图，则其对应的颜色特征观测概率如下公式

$p\left(z_t\right|{x_{t,color}}^{\left(i\right)})=\underset{u=1}{\overset{s}{\&Sigma;}}\sqrt{q_0^{\left(u\right)}{p_t}^{\left(u\right),\left(i\right)}\left(\mathrm{\&tau;}\right)}$

则第i个颜色粒子的权重更新后如下公式

$w_{t,color}^{\left(i\right)}=w_{t-1,color}^{\left(i\right)}p\left(z_t|{x_{t,color}}^{\left(i\right)}\right)$

如图6所示，通过边缘加权直方图方式提取场景的纹理特征，融合纹理特征和颜色特征，共同对运动目标进行状态估计；

t时刻运动目标s的状态估计如下公式

$x_t^{\left(s\right)}=\underset{i=1}{\overset{N_{color}}{\mathrm{\&Sigma;}}}{\&part;}_{t,color}^{\left(s\right)}\&CenterDot;x_{t,color}^{\left(i\right)}+\underset{j=1}{\overset{N_{edge}}{\mathrm{\&Sigma;}}}{\&part;}_{t,edge}^{\left(s\right)}\&CenterDot;x_{t,edge}^{\left(j\right)}$

其中，N_color与N_cedge表示颜色特征与边缘特征各自的粒子数目，表示第i个颜色粒子在t时刻状态，表示第j个边缘粒子在t时刻状态，

其t时刻目标s的第k个特征的贡献度函数跟新为：

${\&part;}_{t,k}^{\left(s\right)}=\frac{{\&part;}_{t-1,k}^{\left(s\right)}\&CenterDot;d_{t-1,k}^{\left(s\right)}}{\underset{i=1}{\overset{N_k}{\mathrm{\&Sigma;}}}{\&part;}_{t-1,k}^{\left(s\right)}\&CenterDot;d_{t-1,k}^{\left(s\right)}}$

$d_{t-1,k}^{\left(s\right)}=\frac{p\left(z_{t-1}|{x_{t-1,k}}^{\left(s\right)}\right)}{p\left(z_{t-2}|{x_{t-2,k}}^{\left(s\right)}\right)}$

N_k表示目标参考特征数目，反应特征的线索有效性的变化；在当某一特征线索退化时候，自动减少该特征贡献度，增加仍然具有鲁棒性的特征贡献度进行跟踪。

如图7所示，根据场景的不同，有着以下处理计算方法：

建立t时刻的目标跟踪列表与目标检测列表之间的推理关系矩阵P、各个目标的线索矩阵目标挂起标识生命周期

场景一：目标离开场景：P_m＝0表明目标退出场景或者被完全遮挡。当时，将目标从跟踪列表移除，否则，将目标挂起，

场景二：目标进入场景：P_n＝0，将信息加入到跟踪目标列表中；

场景三：多目标合并：P_n>1，多个单独的运动目标聚集到了一起，形成了一个较大的聚集目标，目标间存在交错遮挡；将将目标挂起，，利用的速度信息更新边界矩阵，其余特征不进行更新；

场景四：孤立目标简单运动：P_m＝1，P_n＝1， 均为0，与匹配；利用更新校正的特征信息；

场景五：目标分裂：P_m>1，多目标发生了分裂，这可能是目标被出现在场景中的栏杆、树木等物体部分遮挡，也可能是本身聚集在一起的多个运动目标发生了分裂，分裂出的目标为曾被跟踪的，恢复的跟踪信息，将置为FALSE，利用更新校正的特征信息；P_m>1，表明多目标发生了分裂，分裂出的是以前未被跟踪的新目标，将信息加入到跟踪目标列表中；

场景六：遮挡：部分遮挡，P_m＝1，P_n＝1， 中存在且不是所有的表明目标开始发生遮挡或者形变，但其形变或者遮挡情况仍较为轻微，其跟踪特征信息仍可信，利用更新校正的特征信息；静态背景障碍物遮挡，P_m＝1，P_n＝1，所有利用更新校正新目标的边界矩阵信息，但不更新目标的其余特征，同时将置为TRUE对目标的生命周期开始每帧自增1；

场景七：遮挡后恢复跟踪：P_m＝1，P_n＝1，表明目标是曾经被背景障碍物遮挡的又一次出现在场景中，恢复跟踪。利用更新校正的特征信息；恢复对跟踪同时将置为FALSE。

Claims (9)

1.一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，包括：对于运动目标的检测提取单元；对于运动目标的轨迹预测单元；运动目标的轨迹匹配单元。

2.基于权利要求1所述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，所述对于运动目标的检测提取单元包括：运动目标的检测计算单元；运动目标的提取计算单元。

3.基于权利要求1所述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，所述的运动目标的轨迹匹配单元包括：目标的多特征融合计算单元；目标的综合推理匹配策略计算单元。

4.基于权利要求1所述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，包括如下步骤：

A.数据矢量量化编码

B.码本模型运动检测

C.对于运动目标的轨迹预测

D.目标的多特征融合

E.目标的综合推理匹配 。

5.基于权利要求4所述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，所述步骤A包括如下步骤：

A1.对原始数据分割成大小相同的块，每个小块包含了许多像素；

A2.形成由左至右、由上而下地串成一个向量；

A3.收集具有代表性的向量制作出码本，找出其中跟此小块最接近的码字的索引值代替此小块，组成一张索引表；将此作为原始数据压缩的结果。

6.基于权利要求4所述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，所述步骤B包括如下步骤：

B1.在视频帧的每一个像素位置，为该位置建立了包含了一个或多个码字的码本；视频序列中一个像素点的训练序列为X＝{x₁,x₂…x_N},该像素对应的码本为C＝{c₁,c₂…c_L}，每个码字c_i为二元组结构c_i＝<v_i,u_i>；v_i对应该码字的累积RGB三通道的平均颜色值；其中各个参数分别表示码字对应像素的最小、最大亮度值，码字出现的字数，码字在训练中未出现的最大间隔时间以及第一次和最后一次访问的时间；

B2.检测像素运动情况；对于t时刻待检测的像素，将当前像素值x_t与对应的码本进行比较，如果没有相匹配的码字，则创建一个新的码字u_L＝<I,I,1,t-1,t,t>添加到其码本中；如果匹配的码字有多个，则根据颜色相似度和亮度范围确定匹配最好的码字并更新码本，公式如下

B3.当训练结束后，为每个码字c_i更新未访问的最大时间间隔Υ_i为

Υ_i＝max{Υ_i,N-q_i+p_i-1}。

7.基于权利要求4所述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，所述的步骤C包括如下步骤：

C1：检验分布预测得到的粒子；计算t-1时刻的待跟踪目标特征概率函数F_m(t-1)，其中心为x_t-1，和t时刻的N个粒子中第p个粒子特征概率函数F_m ^(p)(t)，其中心为s_t ^(p)，得出目标偏移向量

C2：按照偏移向量调整t时刻的目标位置，其中核函数为G(X)，C_t ^(p)为加权系数；公式如下

8.基于权利要求4所述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，所述的步骤D包括如下步骤：

D1：通过RGB区域加权直方图方式提取场景的颜色特征；L为颜色量化阶数，则第i个颜色粒子对应区域的加权直方图定义如下公式

其中

是归一化因子；S表示区域内像素的个数；τ表示区域中心的像素点，τ_i表示区域中某个像素点，τ-τ_i表示τ到τ_i的距离；h是核带宽；用核函数k(·)降低周围区域与背景相似的像素点带来的干扰；

D2：权重分配；给靠近区域中心的像素所对应的颜色特征赋予较高的权值；δ为Kronecker余子函数；ψ(τ_i)表示τ_i位置处像素的颜色阶数；μ为颜色直方图阶数，取值范围为(1,2,…,s)；设和分别为目标颜色直方图模板和在t时刻以为中心的i个颜色粒子所对应的颜色直方图，则其对应的颜色特征观测概率如下公式

则第i个颜色粒子的权重更新后如下公式

D3：通过边缘加权直方图方式提取场景的纹理特征，融合纹理特征和颜色特征，共同对运动目标进行状态估计；

t时刻运动目标s的状态估计如下公式

其中，N_color与N_cedge表示颜色特征与边缘特征各自的粒子数目，表示第i个颜色粒子在t时刻状态，表示第j个边缘粒子在t时刻状态，

其t时刻目标s的第k个特征的贡献度函数跟新为：

N_k表示目标参考特征数目，反应特征的线索有效性的变化；在当某一特征线索退化时候，自动减少该特征贡献度，增加仍然具有鲁棒性的特征贡献度进行跟踪。

9.基于权利要求7所述的一种基于运动目标轨迹提取的视频浓缩方法，其特征在于，所述的步骤E对于如下场景的处理计算方法：

建立t时刻的目标跟踪列表与目标检测列表之间的推理关系矩阵P、各个目标的线索矩阵目标挂起标识生命周期

场景一：目标离开场景：P_m＝0表明目标退出场景或者被完全遮挡。当时，将目标从跟踪列表移除，否则，将目标挂起，

场景二：目标进入场景：P_n＝0，将信息加入到跟踪目标列表中；

场景三：多目标合并：P_n>1，多个单独的运动目标聚集到了一起，形成了一个较大的聚集目标，目标间存在交错遮挡；将将目标挂起，，利用的速度信息更新边界矩阵，其余特征不进行更新；

场景四：孤立目标简单运动：P_m＝1，P_n＝1， 均为0，与匹配；利用更新校正的特征信息；

场景五：目标分裂：P_m>1，多目标发生了分裂，这可能是目标被出现在场景中的栏杆、树木等物体部分遮挡，也可能是本身聚集在一起的多个运动目标发生了分裂，分裂出的目标为曾被跟踪的，恢复的跟踪信息，将置为FALSE，利用更新校正的特征信息；P_m>1，表明多目标发生了分裂，分裂出的是以前未被跟踪的新目标，将信息加入到跟踪目标列表中；

场景六：遮挡：部分遮挡，P_m＝1，P_n＝1， 中存在且不是所有的表明目标开始发生遮挡或者形变，但其形变或者遮挡情况仍较为轻微，其跟 踪特征信息仍可信，利用更新校正的特征信息；静态背景障碍物遮挡，P_m＝1，P_n＝1，所有利用更新校正新目标的边界矩阵信息，但不更新目标的其余特征，同时将置为TRUE对目标的生命周期开始每帧自增1；

场景七：遮挡后恢复跟踪：P_m＝1，P_n＝1，表明目标是曾经被背景障碍物遮挡的又一次出现在场景中，恢复跟踪。利用更新校正的特征信息；恢复对跟踪同时将置为FALSE。