CN111639600A - 基于中心偏移的视频关键帧提取方法 - Google Patents

Abstract

本发明公开了一种基于中心偏移的视频关键帧提取方法，涉及视频图像处理技术领域。所述方法包括如下步骤：提取视频序列中的运动目标；提取运动形状中心点；生成目标中心偏移曲线；检测中心偏移曲线的峰值点；根据检索的峰值点提取关键帧。所述方法在捕捉目标局部运动状态变化方面取得比较理想的结果，提取的关键帧能够反映出运动目标局部运动状态的变化。

Description

基于中心偏移的视频关键帧提取方法

技术领域

本发明涉及视频图像处理方法技术领域，尤其涉及一种基于中心偏移的视 频关键帧提取方法。

背景技术

随着人们安全意识的提高，大量监控设备投入使用，导致监控视频数据爆 炸式增长。如何实现监控视频数据的高效管理、快速检索和查询，已经成为困 扰人们的难题。关键帧提取作为可以解决该问题的有效方法之一，引起了研究 者们的关注，关键帧是一种高效、精简的视频展现形式，用关键帧表征原始学 术讲座视频可以极大的减小数据量，快速地进行检索和浏览，目前，关键帧提 取已经取得了众多研究成果。

在监控视频中，目标全局运动状态的变化会吸引人们的注意力，但目标的 局部运动状态的变化会更有吸引力并包含有更多有用的信息。传统的关键帧提 取方法忽略了目标的局部运动状态或非主要目标运动状态的变化，原因在于该 方法仅仅捕捉了视频中主要目标的运动状态。目前广泛使用的关键帧提取方法 中，运动相关的关键帧提取方法虽表现出良好的性能，但这些方法只关注监控 视频中目标运动状态的全局变化，如启动、停止、加速、减速或方向改变。当 这些方法应用于目标具有局部运动的场景时，效果并不理想。

发明内容

本发明所要解决的技术问题是如何提供一种提取的关键帧能够反映出运动 目标局部运动状态变化的频关键帧提取方法。

为解决上述技术问题，本发明所采取的技术方案是：一种基于中心偏移的 视频关键帧提取方法，其特征在于包括如下步骤：

提取视频序列中的运动目标；

提取运动形状中心点；

生成目标中心偏移曲线；

检测中心偏移曲线的峰值点；

根据检索的峰值点提取关键帧。

进一步的技术方案在于，所述提取视频序列中的运动目标的方法如下：

在输入视频序列中用背景差分法检测运动目标，获得差分图像，并对其进 行二值化处理，然后对其进行形态学滤波，找到形态滤波后图像的八连通区域， 将八连通面积大于阈值Area＝1500的部分提取为运动目标，得到运动目标的位 置。

进一步的技术方案在于，所述提取运动形状中心点的方法如下：

选择运动目标外接矩形的中点作为目标运动形状的中心点，若视频帧中只 有一个运动目标，则该视频帧中心点的坐标即为该运动形状的中心点坐标；当 视频帧中有多个运动目标时，计算多个运动形状的中心点的平均值，那么平均 值则为该视频帧的中心点坐标。

进一步的技术方案在于，所述的生成目标中心偏移曲线的方法如下：

利用已知的中心点坐标计算每帧中心点在像素上的偏移量，称为中心偏移 量，对中心偏移量的绝对值进行处理，再将每帧的中心偏移量绝对值进行连接， 形成中心偏移曲线。

进一步的技术方案在于，对于视频序列，运动目标的中心偏移可以定义为：

CO(t)＝CO_x(t)+CO_y(t),

式中，CO(t)表示在t时刻运动目标的中心偏移量，CO_x(t)和CO_y(t)分别表示 CO(t)的水平分量和垂直分量，设P(x₁,y₁,t-1)和P(x₂,y₂,t)分别表示在t-1和t时刻运 动目标的中心点坐标，则CO(t)可以表示为：

CO(t)＝P(x₂,y₂,t)-P(x₁,y₁,t-1)，

上式中CO(t)矢量在极坐标下，可利用下式进行计算：

CO(t)＝|CO(t)|exp[-jθ(t)]，

式中，|CO(t)|和θ(t)分别表示CO(t)的幅度大小和角度，式中|CO(t)|可以通过以下公式求得：

通过上式可以发现，当|CO(t)|足够大时，该时刻对应的视频帧很容易被提 取为视频关键帧，然而，CO(t)并不仅仅取决于|CO(t)|的大小，θ(t)也是一个很 重要的因素，因此，将exp[-jθ(t)]定义为：

利用上述公式，则可以计算出视频中每帧运动目标的中心偏移量。

进一步的技术方案在于，检测中心偏移曲线的峰值点的方法如下：

检测形成的中心偏移曲线的峰值，提取与曲线峰值处对应的视频帧及视频 的第一帧和最后一帧作为候选关键帧。

进一步的技术方案在于，所述提取关键帧的方法如下：

首先，提取峰值突变处的视频帧，即提取当前帧峰值是前一关键帧峰值的 N倍的视频帧，此时提取出的视频帧是由峰值突变处的视频帧和第一帧及最后 一帧组成；然后，对提取出的关键帧采用基于峰值信噪比的视觉分辨机制的关 键帧优化准则进行优化，最后确定最终关键帧。

采用上述技术方案所产生的有益效果在于：该方法首先通过运动目标检测 提取出视频帧中的运动目标，获得目标的运动形状的中心点并计算每个视频帧 的中心点，其次计算每帧的中心偏移量，并对其进行处理，形成中心偏移曲线， 然后提取候选关键帧，并对其进行优化，获得最终关键帧。所述方法采用中心 偏移来描述视频中目标运动状态的变化，实验结果表明，所提方法是正确的和 有效的，在捕捉目标局部运动状态变化方面取得比较理想的结果，提取的关键 帧能够反映出运动目标局部运动状态的变化。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1a-1d是本发明实施例中单目标的运动形状图；

图2是本发明实施例中示例视频中运动目标中心点图像；

图3a-3d是本发明实施例中多目标的运动形状图；

图4是本发明实施例所述方法的流程图；

图5是本发明实施例中视频序列的中心偏移曲线图；

图6是本发明实施例中通过所述方法提取到Video8的视频关键帧图像；

图7是本发明实施例中通过所述方法提取到Video16的视频关键帧图像；

图8a-图8e是本发明实施例中多种方法Video8关键帧提取的结果对比图 (分别为proposed、MV、MA、MTSS、ME)；

图9是本发明实施例中不同方法的平均SRD曲线图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全 部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性 劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明 还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不 违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例 的限制。

本申请公开了一种基于中心偏移的视频关键帧提取方法，下面结合具体内 容对所述方法进行说明。

将目标运动形状的中心点定义为中心点，在数学上也可以将其称之为形心。 从数学上讲，曲面的形心是截面图形的几何中心，质心是针对实体物，而形心 是抽象几何体的质心。对于密度均匀的物体，形心与质心重合。在运动过程中， 视频中的运动目标会产生不同的动作行为。我们认为运动目标是一个具有均匀 密度的抽象几何体，它可以不断地改变自身的形状，因此目标在运动过程中每 帧都会产生不同的截面图形。将每帧产生的截面形状，称为目标的运动形状， 如图1a-1d所示。

图1a-1d展示了目标在直立、伸手、下蹲等动作时所形成的多边形。从图 1a-1d可以看出，当目标做局部运动时，目标的运动形状会发生变化，即运动 形状中心点的位置会发生偏移。这也就是为什么通过利用中心的偏移量来反映 目标全局和局部运动状态的变化。在笛卡尔坐标系中，假设三角形顶点的坐标 分别为(x₁,y₁)、(x₂,y₂)和(x₃,y₃)，则中点坐标(x,y)可以计算为：

假设矩形的四个顶点的坐标分别为(x₁,y₁)、(x₁,y₂)、(x₂,y₁)和(x₂,y₂)，则中 点坐标(x,y)可通过以下公式获得：

当运动形状是多边形时，需要利用二重积分来计算其中心点坐标。为了简 化计算，选取文中选取运动目标的外接矩形来表示目标的运动形状。示例视频 中运动目标的运动形状及其中心点，如图2所示。

从图2可以看出，矩形中心点的坐标随矩形四个顶点坐标的变化而产生变 化。这说明当运动目标做局部运动(如弯腰、伸展等细节动作)时，会引起矩形 顶点的变化，则矩形中心点的坐标也会随之变化。也就是说，目标中心偏移可 以反映出运动目标的全局和局部运动状态的变化。因此，选择矩形的中心点偏 移作为运动描述符，用来描述目标运动过程中全部运动状态的变化。

当视频中只有一个运动目标时，目标矩形的中心点即为该视频帧的中心点。 然而，当视频中有多个运动目标时，则需要分别获得每个目标矩形的中心点， 然后求中心点的平均值作为该帧的中心点，示例如图3a-3d所示。

通过图3a-3d可以发现，当多个目标同时运动时，可以利用每个目标矩形 的中心点求中心点的平均值作为该帧的中心点。原因在于当一个目标发生运动 会引起自身中心点发生变化，从而引起该帧中心点的坐标发生改变，故该帧的 中心点偏移量可以反映每个目标运动状态的变化。因此，利用相邻视频帧运动 目标的中心偏移量来反映目标运动状态的变化是可行的。基于此，本申请提出 了一种基于中心偏移的视频关键帧提取方法。

对于视频序列，运动目标的中心偏移可以定义为：

CO(t)＝CO_x(t)+CO_y(t), (3)

式中，CO(t)表示在t时刻运动目标的中心偏移量，CO_x(t)和CO_y(t)分别表示CO(t)的水平分量和垂直分量。假设P(x₁,y₁,t-1)和P(x₂,y₂,t)分别表示在t-1和t时刻 运动目标的中心点坐标，则CO(t)可以表示为：

CO(t)＝P(x₂,y₂,t)-P(x₁,y₁,t-1)， (4)

式(4)中CO(t)矢量在极坐标下，可利用公式(5)进行计算：

CO(t)＝|CO(t)|exp[-jθ(t)]， (5)

式中，|CO(t)|和θ(t)分别表示CO(t)的幅度大小和角度，式中|CO(t)|可以通过以下公式求得：

通过观察式(6)可以发现，当|CO(t)|足够大时，该时刻对应的视频帧很容易 被提取为视频关键帧。然而，CO(t)并不仅仅取决于|CO(t)|的大小，θ(t)也是一 个很重要的因素。因此，为了简单方便计算，将exp[-jθ(t)]定义为：

利用上述公式，则可以计算出视频中每帧运动目标的中心偏移量。

在本申请所述方法中，将峰值突变处的视频帧定义为关键帧。原因在于视 频中运动目标运动状态的变化可能持续一帧及多帧以上，当运动目标保持相同 的运动状态时，不会吸引人们的注意。所提方法的基本实现过程如图4所示。

图4展示了所提关键帧提取方法的基本流程。对输入的监视视频序列采取 以下步骤：

步骤1提取运动目标：在输入视频序列中用背景差分法检测运动目标，获 得差分图像，并对其进行二值化处理，然后对其进行形态学滤波，找到形态滤 波后图像的八连通区域，将八连通面积大于阈值Area＝1500的部分提取为运动目 标，得到目标的位置；

步骤2提取运动形状中心点：选择运动目标外接矩形的中点作为目标运动 形状的中心点。若视频中只有一个运动目标，则该帧中心点的坐标即为该运动 形状的中心点坐标。当有多个运动目标时，计算多个运动形状的中心点平均值， 那么平均值则为该帧的中心点坐标；

步骤3生成目标中心偏移曲线：利用已知的中心点坐标计算每帧中心点的 在像素上的偏移量，称为中心偏移量，然后根据定义的exp[-jθ(t)]，对中心偏移 量的绝对值进行处理，再将每帧的中心偏移量进行连接，形成中心偏移曲线。 由于对中心偏移量绝对值进行处理，所以形成的曲线会有突变的现象。示例视 频形成的中心偏移曲线，如图5所示；

步骤4检测峰值点：检测步骤3形成的中心偏移曲线的峰值，提取与曲线 峰值处对应的视频帧及视频的第一帧和最后一帧作为候选关键帧；

步骤5提取关键帧：首先，为了降低提取关键帧的冗余度，提取峰值突变 处的视频帧，即提取当前帧峰值是前一关键帧峰值的N倍的视频帧。此时提取 出的视频帧是由峰值突变处的视频帧和第一帧及最后一帧组成。然后，对提取 出的关键帧采用基于峰值信噪比的视觉分辨机制的关键帧优化准则进行优化， 最后确定最终关键帧。

实验结果与分析：

为了全面评估基于中心偏移的监控视频关键帧提取方法的正确性和有效 性，所提方法在公共视频数据集和新建视频数据集上进行了多次的实验。本实 验的测试环境与基于运动速度的监控视频关键帧提取方法测试环境相同。本次 实验选取了16段测试视频，其中15测试视频来自ViSOR、CAVIAR和BEHAVE， Video16是新建的视频数据集。本次实验所涉及视频数据集的具体信息如表1 所示。

表1视频数据集的具体信息

以下部分中，第一部分通过对两段典型视频关键帧提取结果进行分析，验 证所提关键帧算法正确性。第二部分验证算法的有效性的方法，将所提出的方 法与运动相关的关键帧提取方法在16段测试视频上进行了主、客观性能的对 比。

算法正确性

首先对本申请所提关键帧提取方法的正确性进行验证。通过所提方法对表 1中16段测试视频进行关键帧提取。观察实验结果，提取的视频关键帧集既能 够反映出目标全局和局部运动状态的变化，能够反映出监控视频内容的变化， 验证了所提方法是正确的。以表1中目标运动过程具有一定的代表性的Video8 和Video16两个视频为例，并将两段视频的关键帧提取结果进行展示和分析， 从而验证所提基于中心偏移的监控视频关键帧提取方法的正确性。

由于Video8的帧数过多，关键帧结果不方便展示，在本次实验过程中设置 的实验参数为N＝5。故本次实验只选取测试视频Video8的部分连续帧。选取片 段目标的运动过程是首先第一个运动目标出现，然后第二个目标出现，最后两 个目标做了握手的动作后，一起向另外的方向地走。测试视频Video8的关键帧 提取结果(除了第一帧和最后一帧外的最终关键帧)，如图6所示。

如图6所示，由于设置参数N的原因以及利用优化准则进行优化的原因， 导致一些具有较大峰值处的视频帧没有被提取出来，而一些峰值较小的却提取 出来。图中在58帧前，存在较多峰值高的视频帧，这是由于环境变化的原因， 导致产生较大的中心偏移。通过设置参数以及关键帧优化，将其都优化。而在 第148帧以后的峰值比较小，但由于设置参数N，后面的相对较小峰值处的视 频帧被提取出来，使得提取的关键帧更完整地描述视频中目标整个运动过程。

这段视频中，比较吸引注意力的就是两个目标分别的出现，两个目标进行 握手及握手后两个目标的运动的变化。观察关键帧提取结果可以发现，第58 帧和第117、136帧分别展示了两个目标的出现(目标的全局运动状态的改变)， 第148帧、第172帧和第187帧展示了握手之前，两个目标分别伸手的过程(目 标的局部运动状态的改变)。第206帧和第229帧展示了两个目标的握手过程(目 标的局部运动状态的改变)，第251帧展示了两个目标握手后向另外方向走的运 动过程(目标的全局运动状态的改变)。

视频Video16中目标的运动过程是从静止开始下蹲，最后起身的运动过程。 测试视频Video16的关键帧提取结果(除了第一帧和最后一帧外的最终关键帧)， 如图7所示。

观察图7可知，由于参数N＝1.5以及利用优化准则进行优化的原因，产生图 中展示的关键帧，第一峰值和最后一个峰值处的视频帧通过优化准则计算得出 分别与第一帧和最后一帧相似被精简。所提方法能够提取到目标下蹲的动作(第 6帧)，目标下蹲过程的动作变化(第13帧)以及目标起身的运动过程(第21帧、 第26帧和第29帧)，这些运动状态的变化，所提方法都能提取到目标的局部运 动状态的改变。

通过以上对两个视频结果的分析可以发现，利用目标中心偏移可以捕捉目 标局部运动状态的变化，通过对中心点的偏移量进行分析可以反映出运动目标 的全局和局部运动状态变化。验证了本申请提出的基于运动目标中心偏移的视 频关键帧提取方法是正确的。

算法有效性

为了验证所提方法的有效性，将本申请所提方法与MA、MTSS、ME及基 于运动速度的监控视频关键帧提取方法(记为MV)四种运动相关的关键帧提取 方法进行对比。为了验证所提方法的广泛性和鲁棒性，在公共数据集和新创建 的数据集的16段视频上分别做了实验。实验过程中实验参数设置为N＝5，基于 运动速度的监控视频关键帧提取方法中实验参数设置为N＝7。从主观和客观两 方面对不同的关键帧提取方法的提取结果进行评价，从而展示所提方法的优势。

从主观方面对五种方法的关键帧提取结果进行评价。为了保证实验的客观 性，在实验过程中每种方法都提取10帧作为关键帧。通过在16段在视频上进 行测试，观察五种方法的关键帧提取结果，发现所提方法具有较好的性能。由 于页数限制，仅展示Video8视频的关键帧提取结果。Video8视频序列的不同 方法的关键帧提取结果，如图8a-8e所示。

观察图8a-8e可以发现，所提方法提取到了两个目标分别出现，两个目标 互相握手的过程。MV方法虽然也能提取到两个目标出现的视频帧及两个目标 握手的动作，但是在握手之前的运动过程遗漏了。MTSS方法提取的关键帧漏 掉第一个运动目标出现的视频帧。MA方法提取的关键帧漏掉第一个运动目标 出现的视频帧，以及没有能够及时提取出第二运动目标出现的视频帧。ME方 法提取的关键帧有过多的冗余，有比较多的空白帧。综上分析，可知所提方法 能够更好地提取到视频中运动目标运动状态发生变化的视频帧，尤其是多目标 监控视频。

从客观角度对所提方法的有效性进行验证。采用SRD评价准则对五种方法 的关键帧提取结果进行客观评价。图9展示了在提取不同关键帧比率(2％～12％) 时，五种方法在所有测试视频上得到的平均SRD。

观察图9可知，四种方法随着关键帧提取数目的增多，平均SRD的值也在 增长，只是增长在不断地变缓。在关键帧提取率为2％到6％时，本文所提方法 与MV、MTSS和MA三种方法的平均SRD是仅仅几乎相同，明显高于ME的 平均SRD。当关键帧提取率在8％到12％时，本申请所提方法的平均SRD高于 其它方法0.3dB左右。原因是本申请所提出的方法考虑到了所有目标的运动状 态改变，而MTSS仅仅关注目标全局运动状态的变化，MV和MA则是考虑最 主要的运动目标的速度和加速度。因此，这就表明本申请所提方法能够更全面 地捕捉视频中所有目标的全部运动状态变化，不会忽略目标的局部运动状态变 化。

通过从主观和客观两方面验证所提方法的有效性，在多种监控视频上与其 它四种方法的关键帧结果对比分析可以总结到，所提方法在重构视频帧的能力 是优于其它对比方法的，并且所提方法在捕捉目标局部运动状态变化方面是优 于其它对比方法。因此，本申请所提方法是有效的。

通过对该方法正确性和有效性的验证，表明了本申请所提方法不仅能够捕 捉目标全局运动状态的变化，还能够捕捉局部运动状态的变化。

Claims (7)

1.一种基于中心偏移的视频关键帧提取方法，其特征在于包括如下步骤：

提取视频序列中的运动目标；

提取运动形状中心点；

生成目标中心偏移曲线；

检测中心偏移曲线的峰值点；

根据检索的峰值点提取关键帧。

2.如权利要求1所述的基于中心偏移的视频关键帧提取方法，其特征在于，所述提取视频序列中的运动目标的方法如下：

在输入视频序列中用背景差分法检测运动目标，获得差分图像，并对其进行二值化处理，然后对其进行形态学滤波，找到形态滤波后图像的八连通区域，将八连通面积大于阈值Area＝1 500的部分提取为运动目标，得到运动目标的位置。

3.如权利要求1所述的基于中心偏移的视频关键帧提取方法，其特征在于，所述提取运动形状中心点的方法如下：

选择运动目标外接矩形的中点作为目标运动形状的中心点，若视频帧中只有一个运动目标，则该视频帧中心点的坐标即为该运动形状的中心点坐标；当视频帧中有多个运动目标时，计算多个运动形状的中心点的平均值，那么平均值则为该视频帧的中心点坐标。

4.如权利要求1所述的基于中心偏移的视频关键帧提取方法，其特征在于，所述的生成目标中心偏移曲线的方法如下：

利用已知的中心点坐标计算每帧中心点在像素上的偏移量，称为中心偏移量，对中心偏移量的绝对值进行处理，再将每帧的中心偏移量绝对值进行连接，形成中心偏移曲线。

5.如权利要求4所述的基于中心偏移的视频关键帧提取方法，其特征在于，

对于视频序列，运动目标的中心偏移可以定义为：

CO(t)＝CO_x(t)+CO_y(t),

式中，CO(t)表示在t时刻运动目标的中心偏移量，CO_x(t)和CO_y(t)分别表示CO(t)的水平分量和垂直分量，设P(x₁,y₁,t-1)和P(x₂,y₂,t)分别表示在t-1和t时刻运动目标的中心点坐标，则CO(t)可以表示为：

CO(t)＝P(x₂,y₂,t)-P(x₁,y₁,t-1)，

上式中CO(t)矢量在极坐标下，可利用下式进行计算：

CO(t)＝|CO(t)|exp[-jθ(t)]，

式中，|CO(t)|和θ(t)分别表示CO(t)的幅度大小和角度，式中|CO(t)|可以通过以下公式求得：

通过上式可以发现，当|CO(t)|足够大时，该时刻对应的视频帧很容易被提取为视频关键帧，然而，CO(t)并不仅仅取决于|CO(t)|的大小，θ(t)也是一个很重要的因素，因此，将exp[-jθ(t)]定义为：

利用上述公式，则可以计算出视频中每帧运动目标的中心偏移量。

6.如权利要求1所述的基于中心偏移的视频关键帧提取方法，其特征在于，检测中心偏移曲线的峰值点的方法如下：

检测形成的中心偏移曲线的峰值，提取与曲线峰值处对应的视频帧及视频的第一帧和最后一帧作为候选关键帧。

7.如权利要求1所述的基于中心偏移的视频关键帧提取方法，其特征在于，所述提取关键帧的方法如下：

首先，提取峰值突变处的视频帧，即提取当前帧峰值是前一关键帧峰值的N倍的视频帧，此时提取出的视频帧是由峰值突变处的视频帧和第一帧及最后一帧组成；然后，对提取出的关键帧采用基于峰值信噪比的视觉分辨机制的关键帧优化准则进行优化，最后确定最终关键帧。

Images