CN116363554A

CN116363554A - 一种监控视频关键帧提取方法、系统、介质、设备及终端

Info

Publication number: CN116363554A
Application number: CN202310199402.8A
Authority: CN
Inventors: 王建东; 胡涵睿; 张志为; 曹泽鹏; 董学文; 闫文成; 孙恒; 李烨城; 马志宇; 蒋文婷; 韩雨; 樊迪
Original assignee: Qingdao Institute Of Computing Technology Xi'an University Of Electronic Science And Technology
Current assignee: Qingdao Institute Of Computing Technology Xi'an University Of Electronic Science And Technology
Priority date: 2023-03-04
Filing date: 2023-03-04
Publication date: 2023-06-30

Abstract

本发明属于多媒体信息处理技术领域，公开了一种监控视频关键帧提取方法、系统、介质、设备及终端，采集原始视频流数据，将原始视频流数据分解成图像帧集合；对分解得到的图像帧集合进行采样，对采样得到的图像帧结果集进行过滤；对过滤后的图像帧集合进行自适应聚类，并收集聚类后的结果组成视频摘要。为了能够更好地利用存储介质的内存空间以及让用户更好地快速浏览原始视频流的大致内容，本发明提供了一种通过采样、过滤以及聚类从而实现原始视频流的关键帧筛选算法。本发明的关键帧提取方法对原始视频数据通过关键帧筛选算法筛掉原始视频流中的相似帧、冗余帧以及模糊帧，形成一段原始视频的视频摘要存储，从而极大的缩小占据的存储空间。

Description

一种监控视频关键帧提取方法、系统、介质、设备及终端

技术领域

本发明属于多媒体信息处理技术领域，尤其涉及一种监控视频关键帧提取方法、系统、介质、设备及终端。

背景技术

常用的视频监控都采用存储原始视频的方式进行保存，这样会导致拍摄的视频占用了大量的磁盘空间并且很长一段时间不会去使用，直接导致存储资源的白白浪费，利用率很低。同时，所拍摄的原始视频流中存在大量的冗余帧、相似帧以及模糊帧，而这些图像帧都是无法被操作员再次使用的，还有一些冗余的相似帧。正是由于缺乏一种针对原始视频的整体关键信息的视频摘要，所以才导致这种问题的衍生，造成存储资源的极大浪费。而视频关键帧提取的目标是从一个视频序列中提取最具有代表性的一些静态图像帧，用于视频摘要、视频检索或者快速浏览等应用。近年来，关键帧提取方法主要包括基于传统图像处理方法的关键帧提取，基于机器学习的关键帧提取方法以及基于深度学习的关键帧提取方法。然而，基于机器学习的方法以及基于深度学习的关键帧提取方法虽然有明显效果，但是处理速度较慢，无法完全适用当前高帧率的监控视频设备；基于传统图像处理方法虽然通俗简单，但是提取关键帧的准确率较低。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有的方法都是将原始视频帧数据全部解压之后再进行筛选，而有些模糊图像帧没有有效信息，解压这些图像帧是没有必要的；

(2)基于深度学习的关键帧提取方法过程较为复杂，处理效率低；

(3)在雾霾天气环境下，现有的方法并不能完全适用；

发明内容

针对现有技术存在的问题，本发明提供了一种监控视频关键帧提取方法、系统、介质、设备及终端，尤其涉及一种基于改进的自适应聚类分析的监控视频关键帧实时提取方法、系统、介质、设备及终端。

本发明是这样实现的，一种监控视频关键帧提取方法，监控视频关键帧提取方法包括：采集原始视频流数据，并将原始视频流数据分解成图像帧集合；对分解得到的图像帧集合进行采样，并对采样得到的图像帧结果集进行过滤；对过滤后的图像帧集合进行自适应聚类，并收集聚类后的结果组成视频摘要。

进一步，监控视频关键帧提取方法还包括：采集原始视频流数据并进行分解处理，得到图像帧集合；基于高斯混合模型的背景差分算法进行图像帧采样，并基于IBP帧进行图像关键帧采样；计算决策分段权重，并依据决策分段权重进行均值采样；利用哈希指纹算法对采样结果进行相似性过滤，并利用自适应聚类算法进行自适应聚类；收集自适应聚类结果组成最终的关键帧集合。

进一步，监控视频关键帧提取方法包括以下步骤：

步骤一，首先对视频从压缩域进行关键区域划分以及抽取，由于I帧是图像信息的主要承载者，可以通过I帧分析得到视频图像帧的DCT系数，DCT系数由直流系数(DC)和交流系数(AC)组成，直流系数是主要的部分，包含了图像帧的大量信息，交流系数包含一些细节信息。假设视频片段中存在有N个I帧，则该视频片段可以表示为

两个I帧之间的差异公式如所示：

其中，H_i表示第i帧的I帧的DC图像的直方图，如果HD(I_i,I_i+1)超过阈值，则表示两个I帧来自不同的镜头，说明视频内容存在镜头切换或者视频画面变化内容较大，否则说明两个I帧来自同一个镜头，视频画面变化不大；

步骤二，将视频分割为图像帧集合，首先选取第一帧图像，间隔k帧后再提取一帧图像，针对提取的两帧图像计算背景差分变化得到两帧图像的差值，公式为图像帧之间的差值公式。

假设发生变化的区域面积占整帧图像的比例为r，如果r＝0，说明这两帧图像以及间隔之间的图像没有发生变化，则丢弃该帧图像并从该帧图像开始间隔k帧后重新选取一帧进行背景差分变化的计算；如果0<r<t，说明该帧图像相较于选取的第一帧图像发生了变化，但由于发生变化的区域面积所占比例较小，所以该目标可能是距离枪型摄像机较远或者是刚进入枪型摄像机的探测范围，说明选取的两帧图像之间的间隔图像没有重要参考信息，只需要选取当前帧加入关键帧集合即可；如果r≥t，说明该帧图像与选取的第一帧图像有明显差异，并且存在差异的变化区域面积达到设定的阈值t，表明该帧图像与前一帧关键帧图像之间存在明显差异，并且两帧图像帧之间的间隔图像帧集合中也存在关键帧，将当前图像帧加入到关键帧集合后，采用二分法找到间隔图像帧集合中的关键帧并加入到关键帧集合；依此流程继续执行，直到最后一帧图像计算完成。

步骤三，经过上一步的采样算法可以得到初步的图像帧采样结果，然而这些结果会存在不同分段之间的图像帧相似性过高，信息冗余的问题，所以需要进一步对得到的初始图像帧集合进行相似性过滤，从而过滤掉初始图像帧集合中过于相似的冗余图像帧；

步骤四，采样算法以及过滤算法是对数据的预处理，经过上一步的图像帧相似性过滤后得到的图像帧集合作为聚类算法的输入数据，经过聚类算法处理后输出为对应的视频摘要。在对图像关键帧集合进行聚类之前，首先需要对图像进行特征提取，利用数学的方法对图像进行表征。目前常用的图像特征提取方法有基于直方图的图像特征提取以及基于图像熵的特征提取技术，由于本文所处的场景为雾天环境下，所采集到的图像画面被严重模糊，细节纹理以及颜色信息都遭到严重破坏，而基于直方图的图像特征提取大多都是基于颜色分布信息来提取图像特征的，这给特征提取带来困难，所以本文采用基于图像熵密度的特征提取技术，图像的熵密度数据能够反映图像包含的信息量大小以及复杂程度，熵值越大，信息量就越多。图像熵的计算方式如公式所示。

其中，公式中的p_x表示灰度级x对应的概率，D表示总灰阶数。图像的熵H(x)越大，图像中所包含的像素灰度越丰富，灰度分布越均匀，图像的信息量就越大。对图像的特征提取首先需要对目标图像进行分块处理，本文采用滑动窗口的方法从图像的左上角开始，依次滑动，直至遍历整个图像，将目标图像分为36个图像块。然后对每个图像块计算熵密度值，将其作为块的特征向量，对于块中的每个像素，计算其所属区间的熵密度值，并将其作为特征向量的一个维度。本文指定最后聚类的簇的数量为视频片段总帧数的15％，首先对所有帧按照图像熵密度的大小进行降序排列，然后初始阶段选择当前集合中图像熵密度最大的帧作为初始的聚类中心，之后集合中的其余每一帧都与当前的聚类中心进行差异性度量，如果两帧之间的最大差异性小于给定的阈值t，则归为一类，否则该帧与当前聚类中心距离太远，自成一类，重复该过程直至取完集合中的所有关键帧集合。

步骤五，将最终的关键帧集合重组拼接成为针对原始视频流数据的视频摘要。

进一步，步骤一中，采集的目标人物的原始视频流数据时长不小于1秒；

将原始视频流分解得到的图像帧数据保存在单独的文件夹中。

进一步，步骤二中，基于高斯混合模型的背景差分和IBP帧的自适应均值采样算法分为两个分支去决策，第一个分支依据帧间信息的关键程度将整个视频流的图像帧集合分为多个GOP，每个GOP均由一个关键帧--I帧开始并作为GOP之间的间隔，且每个GOP均由关键帧--I帧、前后参考帧--B帧和向前参考帧--P帧三种结构帧组成；第二个分支将视频分割为图像帧集合，选取第一帧图像，间隔k帧后再提取一帧图像；针对提取的两帧图像计算背景差分变化得到发生变化的区域面积占整帧图像的比例为r；将两个分支的信息融合，两个分支共同选取的关键帧分段相应的权值越高，对应的图像帧集合的兴趣值则越高；对整个视频中图像帧完成转换以及统计后，根据兴趣值--权重对不同的片段设置不同的w值，兴趣值越高对应的w值越高，则采样得到的感兴趣图像帧越多。

进一步，步骤三中，采样完成后得到原视频的采样结果集，进行下一步的针对相似帧以及冗余帧的过滤操作，从相邻视频帧图像的指纹哈希的相似度去完成该候选视频帧的过滤。经过步骤得到初步的关键帧集合，再针对得到的集合逐帧进行聚类；其中，集合逐帧的聚类方法为：以集合中的第一帧作为初始的聚类中心，集合中的每一帧均与当前的聚类中心进行相似性度量；如果两帧之间的最大相似性小于给定的阈值t，则归为一类，否则帧与当前聚类中心距离太远，自成一类，重复聚类过程直至取完集合中的所有关键帧集合。

进一步，步骤四中，聚类完成后，取每个与聚类中心最接近的帧加入最终关键帧结果集得到最终的关键帧结果集。

本发明的另一目的在于提供一种应用所述的监控视频关键帧提取方法的监控视频关键帧提取系统，监控视频关键帧提取系统包括：

数据采集分解模块，用于采集目标人物的原始视频流数据，并对原始视频流数据进行分帧，获得原始视频流的完整图像帧集合；

图像帧集合采样模块，用于采用基于高斯混合模型的背景差分和IBP帧的自适应均值采样算法完成对原始视频流数据的采样；

图像帧过滤聚类模块，用于采用基于图像哈希指纹过滤算法对得到的采样结果集进行相似性过滤，并对过滤后的图像帧结果集进行自适应聚类；

关键帧提取模块，用于收集自适应聚类后的结果，取每个与聚类中心最接近的帧加入最终关键帧结果集得到最终的关键帧结果集。

本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的监控视频关键帧提取方法的步骤。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的监控视频关键帧提取方法的步骤。

本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的监控视频关键帧提取系统。

结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

为了能够更好地利用存储介质的内存空间以及让用户更好地快速浏览原始视频流地大致内容，本发明对原始视频数据通过关键帧筛选算法筛掉原始视频流中的相似帧、冗余帧以及模糊帧，形成一段原始视频的视频摘要存储，从而极大的缩小占据的存储空间。如今从成像设备得到的原始视频流中包含的视频帧数量是非常庞大的，比如海康摄像机其帧率大致都在30至70左右，拍摄一段时间为10秒的视频，那么从这个视频中提取的视频图像帧在300至700帧图像，如果对所有的这些帧图像进行处理，其计算量是非常巨大的，需要大量的时间去处理，严重影响视频去雾系统整体的效率，所以需要对原视频流中的视频图像帧进行筛选，减少视频去雾系统整体的工作量从而提升效率。本发明的关键帧提取方法首先将原视频分离为图像帧，然后对原始图像帧集合进行采样；采用基于IBP关键帧的自适应均值采样法完成采样工作，然后对采样得到的图像帧集合进行冗余帧过滤；采用图像直方图进行过滤，过滤完成后得到初步的图像关键帧集合；再进行自适应聚类，聚类完成后在每个聚类中计算与聚类中心最为接近的帧作为关键帧，加入到最终的关键帧集合组成原始视频摘要。

本发明针对雾天监控视频模糊的情况下，提供了一种基于帧间差异聚类分析的监控视频关键帧实时提取方法，通过采样、过滤以及聚类从而实现原始视频流的关键帧筛选算法。本发明通过数据获取、分帧、采样、相似性过滤以及自适应聚类得到最终的关键帧集合，其中分帧、采样以及相似性过滤是对数据样本的预处理，可以大大减少聚类的输入数据，提高整个算法的处理效率，以便可以覆盖全部关键帧集合数据集使得结果更加真实可靠。

同时，首次提出了基于压缩域和非压缩域结合进行采样的算法，实现在兴趣值权重高的分段多采样，权重低的分段少采样。

填补了目前针对雾霾天气视频监控画面模糊的情况下，快速有效提取视频关键帧的一种方法。

目前存在的一些方法都是基于多模态来完成视频关键帧的提取，而在户外只有单个枪型摄像机的前提下，不能很好的提取到视频的关键帧。本文创新性地提出基于压缩域和非压缩域来对原始视频数据进行采样，大大减少了处理图像帧的数量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的监控视频关键帧提取方法流程图；

图2是本发明实施例提供的监控视频关键帧提取方法整体流程图；

图3是本发明实施例提供的FFmpeg获取I帧的流程图；

图4是本发明实施例提供的基于GMM的关键帧采样算法流程图；

图5是本发明实施例提供的自适应聚类的算法流程图；

图6是本发明实施例提供的监控视频关键帧提取方法原理图。

图7是本发明实施例提供的基于GMM的采样过程示意图；

图8是本发明实施例提供的基于GMM的采样过程示意图；

图9是本发明实施例提供的关键帧提取结果图；

图10是本发明实施例提供的与其他方法的对比结果图；

图11是本发明实施例提供的FFmpeg检测I帧的过程示意图；

图12是本发明实施例提供的抽取的关键帧集合示意图；

图13是本发明实施例提供的原始帧索引与结果帧的对应关系示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种监控视频关键帧提取方法、系统、介质、设备及终端，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的监控视频关键帧提取方法包括以下步骤：

S101，采集原始视频流数据；

S102，将原始视频流数据分解成图像帧集合；

S103，对分解得到的图像帧集合进行采样；

S104，对采样得到的图像帧结果集进行过滤；

S105，对过滤后的图像帧集合进行自适应聚类；

S106，收集自适应聚类后的结果组成视频摘要。

作为优选实施例，如图2-图6所示，本发明实施例提供的监控视频关键帧提取方法具体包括以下步骤：

第一步：采集目标人物的原始视频流数据。

第二步：对原始视频流数据进行分帧，以此获得原始视频流的完整图像帧集合。

第三步：采样算法拟采用基于高斯混合模型的背景差分变化和IBP帧的自适应采样算法，算法分为两个分支去决策，第一个分支依据帧间信息的关键程度将整个视频流的图像帧集合分为多个GOP(Group ofpicture)，每个GOP都是由一个关键帧(I帧)开始的并以它作为GOP之间的间隔，而且每个GOP都是由关键帧(I帧)、前后参考帧(B帧)和向前参考帧(P帧)三种结构帧组成(假如I帧坏掉的话，整个GOP结构就都坏掉了)；第二个分支将视频分割为图像帧集合，首先选取第一帧图像，间隔k帧后再提取一帧图像，然后针对提取的两帧图像计算背景差分变化得到发生变化的区域面积占整帧图像的比例为r；然后将两个分支的信息融合，两个分支共同选取的关键帧分段相应的权值越高，对应的图像帧集合的兴趣值就越高，对整个视频中图像帧完成转换以及统计后，根据兴趣值即权重对不同的片段设置不同的w值，兴趣值越高对应的w值越高，这样采样得到的感兴趣图像帧就越多。

第四步：采样完成后就得到一个原视频的采样结果集，然后进行下一步的针对相似帧以及冗余帧的过滤操作，从相邻视频帧图像的指纹哈希的相似度去完成该候选视频帧的过滤。

第五步：经过上面的步骤，则可以得到初步的关键帧集合，接下来需要针对得到的集合逐帧进行聚类，以便可以覆盖全部关键帧集合数据集使得结果更加真实可靠。首先以集合中的第一帧作为初始的聚类中心，之后集合中的每一帧都与当前的聚类中心进行相似性度量，如果两帧之间的最大相似性小于给定的阈值t，则归为一类，否则该帧与当前聚类中心距离太远，自成一类，重复该过程直至取完集合中的所有关键帧集合。

第六步：聚类完成后，取每个与聚类中心最接近的帧加入最终关键帧结果集得到最终的关键帧结果集。

本发明实施例提供的监控视频关键帧提取系统包括：

为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。

本文提出的方法已经在西点青岛研究院的西电路以及部分街道进行实验，从而验证了方法的可行性和有效性。实验过程部分结果如下：

图7是本发明的基于GMM的采样过程示意图；

图8是本发明的基于GMM的采样过程示意图；

图9是本发明的关键帧提取结果图；

图10是本发明的与其他方法的对比结果图；

图11是本发明的FFmpeg检测I帧的过程示意图；

图12是本发明的抽取的关键帧集合示意图；

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims

1.一种监控视频关键帧提取方法，其特征在于，监控视频关键帧提取方法包括：采集原始视频流数据，并将原始视频流数据分解成图像帧集合；对分解得到的图像帧集合进行采样，并对采样得到的图像帧结果集进行过滤；对过滤后的图像帧集合进行自适应聚类，并收集聚类后的结果组成视频摘要。

2.如权利要求1所述的监控视频关键帧提取方法，其特征在于，监控视频关键帧提取方法还包括：采集原始视频流数据并进行分解处理，得到图像帧集合；基于高斯混合模型的背景差分算法进行图像帧采样，并基于IBP帧进行图像关键帧采样；计算决策分段权重，并依据决策分段权重进行均值采样；利用哈希指纹算法对采样结果进行相似性过滤，并利用自适应聚类算法进行自适应聚类；收集自适应聚类结果组成最终的关键帧集合。

3.如权利要求1所述的监控视频关键帧提取方法，其特征在于，监控视频关键帧提取方法包括以下步骤：

步骤一，采集目标人物的原始视频流数据；对原始视频流数据进行分帧，获得原始视频流的完整图像帧集合；

步骤二，采用基于高斯混合模型的背景差分和IBP帧的自适应均值采样算法完成对原始视频流数据的采样；

步骤三，采用基于图像哈希指纹过滤算法对得到的采样结果集进行相似性过滤，并对过滤后得到的图像帧结果集进行自适应聚类；

步骤四，收集聚类后的结果组成针对原始视频流的视频摘要。

4.如权利要求3所述的监控视频关键帧提取方法，其特征在于，步骤一中，采集的目标人物的原始视频流数据时长不小于1秒；

5.如权利要求3所述的监控视频关键帧提取方法，其特征在于，步骤二中，基于高斯混合模型的背景差分和IBP帧的自适应均值采样算法分为两个分支去决策，第一个分支依据帧间信息的关键程度将整个视频流的图像帧集合分为多个GOP，每个GOP均由一个关键帧--I帧开始并作为GOP之间的间隔，且每个GOP均由关键帧--I帧、前后参考帧--B帧和向前参考帧--P帧三种结构帧组成；第二个分支将视频分割为图像帧集合，选取第一帧图像，间隔k帧后再提取一帧图像；针对提取的两帧图像计算背景差分变化得到发生变化的区域面积占整帧图像的比例为r；将两个分支的信息融合，两个分支共同选取的关键帧分段相应的权值越高，对应的图像帧集合的兴趣值则越高；对整个视频中图像帧完成转换以及统计后，根据兴趣值--权重对不同的片段设置不同的w值，兴趣值越高对应的w值越高，则采样得到的感兴趣图像帧越多。

6.如权利要求3所述的监控视频关键帧提取方法，其特征在于，步骤三中，采样完成后得到原视频的采样结果集，进行下一步的针对相似帧以及冗余帧的过滤操作，从相邻视频帧图像的指纹哈希的相似度去完成该候选视频帧的过滤；经过步骤得到初步的关键帧集合，再针对得到的集合逐帧进行聚类；

其中，集合逐帧的聚类方法为：以集合中的第一帧作为初始的聚类中心，集合中的每一帧均与当前的聚类中心进行相似性度量；如果两帧之间的最大相似性小于给定的阈值t，则归为一类，否则帧与当前聚类中心距离太远，自成一类，重复聚类过程直至取完集合中的所有关键帧集合；

步骤四中，聚类完成后，取每个与聚类中心最接近的帧加入最终关键帧结果集得到最终的关键帧结果集。

7.一种应用如权利要求1～6任意一项所述的监控视频关键帧提取方法的监控视频关键帧提取系统，其特征在于，监控视频关键帧提取系统包括：

8.一种计算机设备，其特征在于，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～6任意一项所述的监控视频关键帧提取方法的步骤。

9.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～6任意一项所述的监控视频关键帧提取方法的步骤。

10.一种信息数据处理终端，其特征在于，信息数据处理终端用于实现如权利要求7所述的监控视频关键帧提取系统。