CN105931270A - 基于运动轨迹分析的视频关键帧提取方法 - Google Patents

Abstract

本发明公开了一种基于运动轨迹分析的视频关键帧提取方法，涉及图像处理方法技术领域。所述方法包括如下步骤：对视频时空切片进行粗略提取，确认运动片段；对运动片段内的时空切片进行精细提取，提取出时空切片运动轨迹；对时空切片运动轨迹进行预处理，检测时空切片运动轨迹的方向曲线拐点和尺度曲线拐点；根据检测到的时空切片运动轨迹的方向曲线拐点和尺度曲线拐点确定运动目标尺度和方向拐点，进行关键帧提取并输出关键帧。所述方法提取的视频关键帧具有更高的准确性，且计算量较小。

Description

基于运动轨迹分析的视频关键帧提取方法

技术领域

本发明涉及图像处理方法技术领域，尤其涉及一种基于运动轨迹分析的视频关键帧提取方法。

背景技术

随着视频数据的爆炸式增长，快速、准确地分析和浏览视频已经成为一个迫切需要解决的难题。关键帧提取作为一种解决方案越来越受到人们的关注。关键帧是一种经典、高效的视频浓缩形式，用关键帧代替原视频可以大大降低数据量，同时也便于检索和浏览视频。由于视频数据的多样性和复杂性，以及关键帧的视觉主观性，目前复杂场景下的关键帧提取仍然是一项极具挑战性的课题。

评价关键帧主要看其能否全面、准确的再现原视频的主要事件，在保证全面提取的情况下，尽量降低冗余。广泛应用的关键帧提取算法多是基于视频底层特征分析的，以单帧或少量帧的特征变化为标准提取关键帧。由于缺乏完整时间维的特征分析，难以从整体上把握关键帧的数量及位置，并且容易受到场景变化、目标姿态变化、目标遮挡等干扰造成重要特征漏检，进而导致真正的关键帧没有被提取到。提取结果与视频的真实语义之间存在差异，不能全面、准确的反应视频的真实语义，也就是说，关键帧提取结果不符合人眼视觉感知。

人眼视觉总是倾向于关注运动的目标，运动状态改变比运动本身更具视觉吸引力。因为相比于只包含匀速运动状态目标的视频帧，包含目标运动状态改变(比如：启动、停止、加速、减速、伸手、弯腰以及方向改变等)的视频帧能够提供更多的有用信息。

文献1(key frame extraction based on spatiotemporal motiontrajectory Optical Engineering Volume 54,Issue 5)给出了一种提取固定数目时空切片(记作N_us)的方法，但是该方法难以选取合适的N_us，因为它与算法计算量以及时空切片运动轨迹MTSS完整度密切相关。N_us越大，MTSS越完整，但计算量也会随之增加，致使上述方法几乎不可能同时做到计算高效和MTSS的完整提取。再者，大多数监控视频中，运动目标稀疏的分散到冗长的视频流中，存在着大量的静止片段，造成视频关键帧很难被有效的提取出来。

发明内容

本发明所要解决的技术问题是提供一种基于运动轨迹分析的视频关键帧提取方法，所述方法提取的视频关键帧具有更高的准确性，且计算量较小。

为解决上述技术问题，本发明所采取的技术方案是：一种基于运动轨迹分析的视频关键帧提取方法，其特征在于所述方法包括如下步骤：

对视频时空切片进行粗略提取，确认运动片段；

对运动片段内的时空切片进行精细提取，提取出时空切片运动轨迹MTSS；

对时空切片运动轨迹MTSS进行预处理，检测时空切片运动轨迹MTSS的方向曲线拐点I_d和尺度曲线拐点I_s；

根据检测到的时空切片运动轨迹MTSS的方向曲线拐点I_d和尺度曲线拐点I_s确定运动目标尺度和方向拐点I_s,d，进行关键帧提取并输出关键帧。

进一步的技术方案在于：所述视频时空切片是水平切片，定义尺度和方向发生改变的帧为关键帧。

进一步的技术方案在于：视频V(x,y,t)的水平切片S_k表示为：

$S_k=\left[\begin{array}{cccccccc}{p}_1^1& p_2^1& \mathrm{...}& p_{i-1}^1& p_i^1& \mathrm{...}& p_{L-1}^1& p_L^1\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ p_1^{j-1}& p_2^{j-1}& \mathrm{...}& p_{i-1}^{j-1}& p_i^{j-1}& \mathrm{...}& p_{L-1}^{j-1}& p_L^{j-1}\\ p_1^j& p_2^j& \mathrm{...}& p_{i-1}^j& p_i^j& \mathrm{...}& p_{L-1}^j& p_L^j\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ p_1^W& p_2^W& \mathrm{...}& p_{i-1}^W& p_i^W& \mathrm{...}& p_{L-1}^W& p_L^W\end{array}\right]---\left(1\right)$

式中：表示视频中位置x＝j,y＝k,t＝i处的像素，满足j∈[1,W],k∈[1,H],i∈[1,L]，W×H表示视频帧的大小，L表示视频的长度。

进一步的技术方案在于：水平切片S_k上的时空切片运动轨迹MTSS表示为：

$MTSS\left(S_k\right)=\left[\begin{array}{ccccc}(p_2^1-p_1^1)& \mathrm{...}& (p_i^1-p_{i-1}^1)& \mathrm{...}& (p_L^1-p_{L-1}^1)\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ (p_2^{j-1}-p_1^{j-1})& \mathrm{...}& (p_i^{j-1}-p_{i-1}^{j-1})& \mathrm{...}& (p_L^{j-1}-p_{L-1}^{j-1})\\ (p_2^j-p_1^j)& \mathrm{...}& (p_i^j-p_{i-1}^j)& \mathrm{...}& (p_L^j-p_{L-1}^j)\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ (p_2^W-p_1^W)& \mathrm{...}& (p_i^W-p_{i-1}^W)& \mathrm{...}& (p_L^W-p_{L-1}^W)\end{array}\right]---\left(2\right).$

进一步的技术方案在于：所述的对视频内的时空切片进行粗略提取，确认运动片段的方法如下：在粗略提取中，提取较少数量的时空切片N_ss来确定视频运动片段，时空切片运动轨迹MTSS表征运动目标的存在，时空切片运动轨迹MTSS的像素数目N_m表征运动目标的相对显著性，基于公式(2)，第F_i帧的N_m由下式计算得到：

$N_m\left(F_i\right)=\underset{j=1}{\overset{W}{\Σ}}{\{P\[MTSS\left(F_i\right)\]\}}_j---\left(3\right)$

式中：

$P\[MTSS\left(F_i\right)\]=\left\{\begin{array}{cc}0,& if{\[MTSS\left(F_i\right)\]}_j=0\\ 1,& otherwise\end{array}\right.---\left(4\right)$

根据公式(3)，一定数量的时空切片N_ss上的N_m表示为：

N_m＝N_m(1)∪N_m(2)∪…∪N_m(N_ss) (5)

那么，N_m≥τ的视频片段为运动片段，运动具有连续性，孤立的运动帧将被视为干扰而去除，其中τ用于度量目标运动的充分性。

进一步的技术方案在于：所述的对运动片段内的时空切片进行精细提取的方法如下：

提取较多的时空切片N_ls，以获取完整的MTSS：

MTSS＝MTSS(1)∪MTSS(2)∪…∪MTSS(N_ls) (6)。

进一步的技术方案在于：所述的方向曲线拐点I_d的计算方法如下：

式中：θ表示MTSS偏离原轨迹的角度，满足θ∈(-π/2,π/2)。

进一步的技术方案在于：所述的尺度曲线拐点I_s的计算方法如下：

$I_s=\left\{\begin{array}{cc}8& \left|w\right|\&GreaterEqual;w_0\\ 8\left|w\right|/w_0& 0<\left|w\right|<w_0\\ 0& \left|w\right|=0\end{array}\right.---\left(8\right)$

式中：w₀和w分别表示MTSS的原始尺度和尺度变化。

进一步的技术方案在于：MTSS的尺度和方向拐点I_s,d由下式得到：

I_s,d＝I_s+I_d (9)。

进一步的技术方案在于：如果需要提取的关键帧数目K是给定的，并且不等于MTSS的尺度和方向拐点I_s,d曲线的峰值数目M，采用如下步骤处理：

1)如果M＞K，提取具有较高I_s,d值的K帧作为关键帧；

2)如果M＜K，使用插值算法提取额外的(K-M)个关键帧。

采用上述技术方案所产生的有益效果在于：本发明提出了粗略、精细相结合的切片提取方法，粗略提取用于确定视频运动片段，精细提取用于获取完整的MTSS，利用时空切片分析目标的运动轨迹，在MTSS的尺度和方向拐点处提取关键帧，所提取的关键帧既反应了目标运动状态的局部改变，又反应了目标运动状态的全局改变。实验结果表明本发明所提出的方法比当前主流方法具有更高的准确性，并且算法的计算量相当、甚至更小。

附图说明

图1是本发明所述方法的流程图；

图2是不同方向的视频时空切片图；

图3是平均镜头重构度比较图；

图4是现有技术文献1的关键帧提取结果图；

图5是本发明的关键帧提取结果图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

总体的，如图1所示，本发明公开了一种基于运动轨迹分析的视频关键帧提取方法，所述方法包括如下步骤：

对视频时空切片进行粗略提取，确认运动片段；

对运动片段内的时空切片进行精细提取，提取出时空切片运动轨迹MTSS；

对时空切片运动轨迹MTSS进行预处理，检测时空切片运动轨迹MTSS的方向曲线拐点I_d和尺度曲线拐点I_s；

根据检测到的时空切片运动轨迹MTSS的方向曲线拐点I_d和尺度曲线拐点I_s确定运动目标尺度和方向拐点I_s,d，进行关键帧提取并输出关键帧。

下面对本发明所述方法进行详细说明：

时空切片是一种高效的视频时空分析方法，具有计算量低、抗干扰能力强等优点。它只提取图像空间的部分行、列，保留了完整的视频时间维信息，而空间维信息的匮乏可以通过多个切片的信息融合来减缓。在长时间维的历史信息辅助下提取关键帧，可以有效的避免干扰。时空切片通常包括三种：水平切片、垂直切片和对角线切片，如图2所示。

不同方向的时空切片反映的目标运动信息不同。对角线切片反映的是目标在斜向运动时的信息。垂直切片反映的是视频垂直区域的像素灰度变化趋势，主要应用于目标个数统计、瞬时速度估计以及高度测量等。水平切片包含最为丰富的目标信息和场景变化信息，其纹理表征着目标的运动轨迹。

本发明中的视频时空切片是水平切片，通过分析时空切片纹理，可以得到目标的运动状态。静止目标的水平坐标固定不变，像素灰度随时间的分布保持一致，切片纹理表现为具有恒定宽度的水平条纹。运动目标的颜色与背景不同，其运动会导致时空切片的灰度变化，产生有别于水平条纹的切片纹理，所产生的纹理变化表征着目标的运动状态改变。

本发明中，关键帧定义为包含目标运动状态改变(局部改变和全局改变)的视频帧。传统的轨迹分析方法能够实现运动状态改变的检测，但通常计算复杂度高、消耗时间长。目标运动状态的局部改变和全局改变可以分别由时空运动轨迹的尺度和方向准确的反映出来，因此，本发明基于时空切片对运动轨迹的尺度和方向进行分析，提出了一种关键帧提取方法，该方法将MTSS(MotionTrajectory on Spatiotemporal Slice,时空切片运动轨迹)的尺度和方向发生改变的帧提取为关键帧。

视频V(x,y,t)的水平切片S_k表示为：

$S_k=\left[\begin{array}{cccccccc}{p}_1^1& p_2^1& \mathrm{...}& p_{i-1}^1& p_i^1& \mathrm{...}& p_{L-1}^1& p_L^1\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ p_1^{j-1}& p_2^{j-1}& \mathrm{...}& p_{i-1}^{j-1}& p_i^{j-1}& \mathrm{...}& p_{L-1}^{j-1}& p_L^{j-1}\\ p_1^j& p_2^j& \mathrm{...}& p_{i-1}^j& p_i^j& \mathrm{...}& p_{L-1}^j& p_L^j\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ p_1^W& p_2^W& \mathrm{...}& p_{i-1}^W& p_i^W& \mathrm{...}& p_{L-1}^W& p_L^W\end{array}\right]---\left(1\right)$

式中：表示视频中位置x＝j,y＝k,t＝i处的像素，满足j∈[1,W],k∈[1,H],i∈[1,L]，W×H表示视频帧的大小，L表示视频的长度。

从公式(1)可以推出，静止目标的时空运动轨迹呈现水平条纹，运动目标的时空运动轨迹呈现弯曲。因此，水平切片S_k上的MTSS(时空切片运动轨迹)可以表示为：

$MTSS\left(S_k\right)=\left[\begin{array}{ccccc}(p_2^1-p_1^1)& \mathrm{...}& (p_i^1-p_{i-1}^1)& \mathrm{...}& (p_L^1-p_{L-1}^1)\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ (p_2^{j-1}-p_1^{j-1})& \mathrm{...}& (p_i^{j-1}-p_{i-1}^{j-1})& \mathrm{...}& (p_L^{j-1}-p_{L-1}^{j-1})\\ (p_2^j-p_1^j)& \mathrm{...}& (p_i^j-p_{i-1}^j)& \mathrm{...}& (p_L^j-p_{L-1}^j)\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ (p_2^W-p_1^W)& \mathrm{...}& (p_i^W-p_{i-1}^W)& \mathrm{...}& (p_L^W-p_{L-1}^W)\end{array}\right]---\left(2\right)$

通常，单一时空切片上的MTSS并不完整，融合多个时空切片可以提高MTSS的完整度。本发明提出了粗略、精细相结合的切片提取策略，粗略提取用于确定视频运动片段，精细提取用于获取完整的MTSS。

在粗略提取中，提取少量的时空切片(记作N_ss)来确定视频运动片段。MTSS表征着运动目标的存在，MTSS的像素数目(记作N_m)表征着运动目标的相对显著性。基于公式(2)，第F_i帧的N_m可由下式计算得到：

$N_m\left(F_i\right)=\underset{j=1}{\overset{W}{\&Sigma;}}{\{P\&lsqb;MTSS\left(F_i\right)\&rsqb;\}}_j---\left(3\right)$

式中：

$P\&lsqb;MTSS\left(F_i\right)\&rsqb;=\left\{\begin{array}{cc}0,& if{\&lsqb;MTSS\left(F_i\right)\&rsqb;}_j=0\\ 1,& otherwise\end{array}\right.---\left(4\right)$

根据公式(3)，N_ss时空切片上的N_m可以表示为：

N_m＝N_m(1)∪N_m(2)∪…∪N_m(N_ss) (5)

那么，N_m≥τ(τ用于量度目标运动的充分性)的视频片段为运动片段，运动具有连续性，孤立的运动帧将被视为干扰而去除。

精细提取只在运动片段中进行，提取较多的时空切片(记作N_ls)，以期获取完整的MTSS：

MTSS＝MTSS(1)∪MTSS(2)∪…∪MTSS(N_ls) (6)

通常，N_ls比N_ss大很多，所以上式的MTSS被视作完整MTSS。

MTSS随着目标运动状态的改变而改变，MTSS的空域尺度变化反映了目标运动状态的局部改变，其时域方向变化反映了目标运动状态的全局改变。因此目标运动状态的局部和全局改变可以由MTSS的尺度曲线拐点(记作I_s)和方向曲线拐点(记作I_d)分别充分捕捉到。

为了简单起见，I_d表示为：

式中：θ表示MTSS偏离原轨迹的角度，满足θ∈(-π/2,π/2)。

I_s表示为：

$I_s=\left\{\begin{array}{cc}8& \left|w\right|\&GreaterEqual;w_0\\ 8\left|w\right|/w_0& 0<\left|w\right|<w_0\\ 0& \left|w\right|=0\end{array}\right.---\left(8\right)$

式中：w₀和w分别表示MTSS的原始尺度和尺度变化。

MTSS的尺度和方向拐点(记作I_s,d)可由下式得到：

I_s,d＝I_s+I_d (9)。

实际应用中，如果需要提取的关键帧数目K是给定的，并且不等于I_s,d曲线的峰值数目M，可以采用如下步骤处理：

1)如果M＞K，提取具有较高I_s,d值的K帧作为关键帧；

2)如果M＜K，使用插值算法提取额外的(K-M)个关键帧。

实验与分析：

为了验证本发明所提出的关键帧提取方法的性能，将其与当前的主流方法(文献1所述方法)进行了对比。对比实验在四段不同类型的监控视频上进行，分别为：

(A)Jogging_on_the_playground1，

(B)Hall_cif1，

(C)Garden corner，

(D)Computer room。

视频(A)主要包括目标运动状态的全局改变，另外三段视频则具有明显的目标运动状态局部改变。实验参数设置为：N_ss＝6,N_ls＝72,N_us＝36。实验在通用型个人计算机上完成，基本配置为：Intel Core 2.3GHz CPU和4GB内存。

在客观性能方面，采用了SRD(Shot Reconstruction Degree，镜头重构度)评估准则。SRD值越高，表明所提取的关键帧捕捉视频内容改变(即目标运动状态改变)越准确。两种方法在视频(A)上的SRD评估结果非常相似。但在其它三段监控视频上，具有明显的不同，当提取的关键帧比率从1％变化到7％时，平均SRD值如图3所示。

从图3可以看出，本发明所提出的方法在SRD性能上具有明显的优势。具体地，在关键帧比率小于3％时，两种方法的SRD性能相当；在关键帧比率大于等于3％时，本发明所提出的方法的SRD性能明显优于对比方法，高达1.2dB。原因在于，本发明所提出的方法充分利用了目标运动状态的全局和局部改变，而文献1中的方法只关注目标运动状态的全局改变。

在主观性能方面，本发明所提出的方法也具有较高的准确性。从四段监控视频的实验结果来看，测试视频中目标运动状态的局部和全局改变都能够由本发明所提出的方法准确的检测到，而文献1中的方法在面对局部运动状态改变时，准确性并不理想。图4-5只给出了视频(B)(格式为Common IntermediateFormat，CIF)的实验结果作为示例来分析两种方法的检测准确性，此视频具有典型的目标运动状态局部改变和全局改变。

图4和图5分别给出了两种方法的关键帧提取结果。在视频(B)中，目标运动状态的全局改变主要包括两个行人分别走进大厅(视频前半部分)和走出大厅(视频后半部分)。明显的目标运动状态的局部改变包括穿黑色上衣的行人弯腰去放下公文包和穿白色上衣的行人伸手去拎起仪器(视频中间部分)。这些目标运动状态的局部和全局改变都非常具有视觉吸引力，因此，这些位置的视频帧可以作为基准来评估两种方法的检测准确性。

图4和图5的开头、末尾部分都和评估基准相似，中间部分的关键帧具有明显的不同。具体地，图4选取了第394帧(穿黑色上衣的行人转身、弯腰)和第435帧(穿白色上衣的行人转身、伸手)作为关键帧，而图5则选取了尺度变化更为明显的第417帧(穿黑色上衣的行人弯腰去放下公文包)和第459帧(穿白色上衣的行人伸手去拎起仪器)。显然，图5更准确的展现了评估基准的视频内容，所提取的关键帧语义更丰富，更为符合人眼视觉感知。原因在于：本发明所提出的方法充分利用了MTSS的尺度和方向特征，而文献1中的方法却只关注MTSS的方向。由此可见，本发明所提出的方法具有更好的主观性能，尤其是在目标运动状态的局部改变明显的视频场景中。

表1给出了两种方法在测试视频(A)、(B)、(C)和(D)上的平均每帧计算时间。可以看出，本发明所提出的方法的平均每帧的计算时间随着运动片段比率的降低而降低。具体地，本发明所提出的方法与文献1中的方法在运动片段比率为51％、32％和28％时的平均每帧计算时间相当，但是当运动片段比率降低至6％时，本发明所提出的方法的计算时间具有明显的降低，此时的平均每帧计算时间不到文献1的方法的三分之一。

表1平均每帧的计算时间(单位：秒)

综上，本发明提出了粗略、精细相结合的切片提取方法，粗略提取用于确定视频运动片段，精细提取用于获取完整的MTSS，利用时空切片分析目标的运动轨迹，在MTSS的尺度和方向拐点处提取关键帧，所提取的关键帧既反应了目标运动状态的局部改变，又反应了目标运动状态的全局改变。实验结果表明本发明所提出的方法比当前主流方法具有更高的准确性，并且算法的计算量相当、甚至更小。

Claims (10)

1.一种基于运动轨迹分析的视频关键帧提取方法，其特征在于所述方法包括如下步骤：

对视频时空切片进行粗略提取，确认运动片段；

对运动片段内的时空切片进行精细提取，提取出时空切片运动轨迹MTSS；

对时空切片运动轨迹MTSS进行预处理，检测时空切片运动轨迹MTSS的方向曲线拐点I_d和尺度曲线拐点I_s；

根据检测到的时空切片运动轨迹MTSS的方向曲线拐点I_d和尺度曲线拐点I_s确定运动目标尺度和方向拐点I_s,d，进行关键帧提取并输出关键帧。

2.如权利要求1所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，所述视频时空切片是水平切片，定义运动目标尺度和方向发生改变的视频帧为关键帧。

3.如权利要求2所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，视频V(x,y,t)的水平切片S_k表示为：

$S_k=\left[\begin{array}{cccccccc}{p}_1^1& p_2^1& \mathrm{...}& p_{i-1}^1& p_i^1& \mathrm{...}& p_{L-1}^1& p_L^1\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ p_1^{j-1}& p_2^{j-1}& \mathrm{...}& p_{i-1}^{j-1}& p_i^{j-1}& \mathrm{...}& p_{L-1}^{j-1}& p_L^{j-1}\\ p_1^j& p_2^j& \mathrm{...}& p_{i-1}^j& p_i^j& \mathrm{...}& p_{L-1}^j& p_L^j\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ p_1^W& p_2^W& \mathrm{...}& p_{i-1}^W& p_i^W& \mathrm{...}& p_{L-1}^W& p_L^W\end{array}\right]---\left(1\right)$

式中：表示视频中位置x＝j,y＝k,t＝i处的像素，满足j∈[1,W],k∈[1,H],i∈[1,L]，W×H表示视频帧的大小，L表示视频的长度。

4.如权利要求3所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，水平切片S_k上的时空切片运动轨迹MTSS表示为：

$MTSS\left(S_k\right)=\left[\begin{array}{ccccc}(p_2^1-p_1^1)& \mathrm{...}& (p_i^1-p_{i-1}^1)& \mathrm{...}& (p_L^1-p_{L-1}^1)\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ (p_2^{j-1}-p_1^{j-1})& \mathrm{...}& (p_i^{j-1}-p_{i-1}^{j-1})& \mathrm{...}& (p_L^{j-1}-p_{L-1}^{j-1})\\ (p_2^j-p_1^j)& \mathrm{...}& (p_i^j-p_{i-1}^j)& \mathrm{...}& (p_L^j-p_{L-1}^j)\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ (p_2^W-p_1^W)& \mathrm{...}& (p_i^W-p_{i-1}^W)& \mathrm{...}& (p_L^W-p_{L-1}^W)\end{array}\right]---\left(2\right).$

5.如权利要求4所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，所述的对视频内的时空切片进行粗略提取，确认运动片段的方法如下：在粗略提取中，提取较少数量的时空切片N_ss来确定视频运动片段，时空切片运动轨迹MTSS表征运动目标的存在，时空切片运动轨迹MTSS的像素数目N_m表征运动目标的相对显著性，基于公式(2)，第F_i帧的N_m由下式计算得到：

$N_m\left(F_i\right)=\underset{j=1}{\overset{W}{\&Sigma;}}{\{P\&lsqb;MTSS\left(F_i\right)\&rsqb;\}}_j---\left(3\right)$

式中：

$P\&lsqb;MTSS\left(F_i\right)\&rsqb;=\left\{\begin{array}{cc}0,& \begin{array}{cc}if& {\&lsqb;MTSS\left(F_i\right)\&rsqb;}_j=0\end{array}\\ 1,& otherwise\end{array}\right.---\left(4\right)$

根据公式(3)，一定数量的时空切片N_ss上的N_m表示为：

N_m＝N_m(1)∪N_m(2)∪…∪N_m(N_ss) (5)

那么，N_m≥τ的视频片段为运动片段，运动具有连续性，孤立的运动帧将被视为干扰而去除，其中τ用于度量目标运动的充分性。

6.如权利要求5所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，所述的对运动片段内的时空切片进行精细提取的方法如下：

提取较多的时空切片N_ls，以获取完整的MTSS：

MTSS＝MTSS(1)∪MTSS(2)∪…∪MTSS(N_ls)(6)。

7.如权利要求1所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，所述的方向曲线拐点I_d的计算方法如下：

式中：θ表示MTSS偏离原轨迹的角度，满足θ∈(-π/2,π/2)。

8.如权利要求1所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，所述的尺度曲线拐点I_s的计算方法如下：

$I_s=\left\{\begin{array}{cc}8& \left|w\right|\&GreaterEqual;w_0\\ 8\left|w\right|/w_0& 0<\left|w\right|<w_0\\ 0& \left|w\right|=0\end{array}\right.---\left(8\right)$

式中：w₀和w分别表示MTSS的原始尺度和尺度变化。

9.如权利要求1所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，MTSS的尺度和方向拐点I_s,d由下式得到：

I_s,d＝I_s+I_d (9)。

10.如权利要求1所述的基于运动轨迹分析的视频关键帧提取方法，其特征在于，如果需要提取的关键帧数目K是给定的，并且不等于MTSS的尺度和方向拐点I_s,d曲线的峰值数目M，采用如下步骤处理：

1)如果M＞K，提取具有较高I_s,d值的K帧作为关键帧；

2)如果M＜K，使用插值算法提取额外的(K-M)个关键帧。