CN112528748B - 一种从视频中识别并截取静态幻灯片的方法 - Google Patents

Abstract

本发明公开了一种从视频中识别并截取静态幻灯片的方法。属于图像处理领域；具体步骤包括如下：从原始视频源中提取关键帧A进行分析；根据提取的关键帧A和上一个关键帧B计算出画面差异度；确定计算出的画面差异度是否是截图模式。本发明提出了一种通用的从视频中识别并截取静态幻灯片的系统架构，通过画面分割和画面差异度算法分析画面的变化过程，维护截图队列，以实现对各类幻灯片场景中的幻灯片进行识别和截取。

Description

一种从视频中识别并截取静态幻灯片的方法

技术领域

本发明涉及图像处理领域，具体涉及一种从视频中识别并截取静态幻灯片的方法。

背景技术

近年来，随着网络带宽的不断提升和终端设备的迅猛发展，越来越多的商务会议、公开课程和主题演讲有了网络直播的形式，而幻灯片是这些场景中不可或缺的环节。网络直播场景中大部分的汇报、授课或是演讲都围绕着幻灯片进行的，大画面中的是幻灯片，主讲人的画面则位于某个角落对幻灯片进行讲解。幻灯片中的表格、文字或图片往往展示的都是核心内容，所以对于观众来说幻灯片的保存价值是十分高的，而很少有网络直播会放出幻灯片文件供观众下载。所以通过截图的方式来保留幻灯片可以说是唯一的选择。但是手动截图的方式往往效率低下，容易漏截错截的同时还会使观众分心与截图，所以需要一种能克服以上问题的自动截图系统来完成这项工作。

发明内容

针对上述问题，本发明提供了一种从视频中识别并截取静态幻灯片的方法。

本发明的技术方案是：一种从视频中识别并截取静态幻灯片的方法，具体操作步骤如下：

步骤(1.1)、从原始视频源中提取关键帧A进行分析；

步骤(1.2)、根据提取的关键帧A和上一个关键帧B计算出画面差异度；

步骤(1.3)、确定当前的系统模式是否为截图模式，如是，则进入步骤(1.5)，否则进入步骤(1.4)；

步骤(1.4)、确定连续若干个画面差异度是否均小于预先设置的截图启动阈值t_start，如是，则画面中出现持续静态画面，即幻灯片，此时启动截图模式并返回步骤(1.3)，如否，则返回步骤(1.1)；

步骤(1.5)、确定画面差异度是否大于预先设置的截图阈值，如是，则将当前的关键帧画面保存到文件中完成一次截图，如否，则返回步骤(1.1)；

步骤(1.6)、对于保存至文件中的截图，确定连续若干个画面差异度是否均大于截图阈值；如是，则画面连续快速变化，即非幻灯片，此时关闭截图模式并返回步骤(1.1)，否则直接返回步骤(1.1)。

在所述步骤(1.1)中，从原始视频源中提取关键帧A进行分析的具体操作规则如下：根据原始视频源的帧率和预先设置的分析基础频率计算出帧保留阈值，其计算公式如下：

kt＝round(fps/bf)，式中，round表示取整函数，fps表示原始视频源的帧率；bf表示分析基础频率；所述kt表示帧保留阈值；

持续从视频中获取帧，每取一次帧保留阈值便保留一帧作为关键帧A，将保留的关键帧A将用于后续的分析过程。

所述的分析基础频率根据后续步骤中的截图情况动态调整，当截图密集时，通过调高分析基础频率来提升分析频率。

在所述步骤(1.2)中，通过提取的关键帧A和上一个关键帧B计算出画面差异度的具体算法如下：对两帧画面进行高斯模糊；将两帧画面按照同样的规则分割成n张子图，分别记为{a_n}和{b_n}，下标相同的子图在画面中处于相同的位置；对每一对下标相同的子图进行按像素作差平方再取平均作为差异值得到差异值表{d_n}；剔除差异值表{d_n}中的离群值来消除动态画中画对整体画面差异度的影响；根据剔除的离群值的差异值表{d_n}计算画面整体的差异度，其计算方法为diff＝mean(d_n)，式中，diff表示画面差异度，mean表示取算数平均函数。

在步骤(1.3)中，所述截图模式的工作流程是根据获取的关键帧并按照步骤(1.2)计算画面差异度。

本发明的有益效果是：本发明提出了一种通用的从视频中识别并截取静态幻灯片的系统架构，通过画面分割和画面差异度算法分析画面的变化过程，维护截图队列，以实现对各类幻灯片场景中的幻灯片进行识别和截取。

附图说明

图1是本发明的结构流程图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：

如图所述；一种从视频中识别并截取静态幻灯片的方法，具体步骤包括如下：

步骤(1.1)、从原始视频源中提取关键帧A进行分析；

进一步的，其具体操作规则如下：根据原始视频源的帧率和预先设置的分析基础频率计算出帧保留阈值，其计算公式如下：

kt＝round(fps/bf)，式中，round表示取整函数，fps表示原始视频源的帧率；

bf表示分析基础频率；所述kt表示帧保留阈值；

持续从视频中获取帧，每取一次帧保留阈值便保留一帧作为关键帧A，将保留的关键帧A将用于后续的分析过程。

优选地，分析基础频率bf可以根据后续步骤中的截图情况动态调整，截图密集时可以略微调高bf来提升分析频率，更不易漏截图，反之降低bf则可以减少系统资源占用。

步骤(1.2)、根据提取的关键帧A和上一个关键帧B计算出画面差异度；

进一步的，其具体算法如下：对两帧画面进行一定程度的高斯模糊，高斯模糊半径可以根据需要调整，模糊半径越大，越能消除一些噪点或偏移对差异值diff计算的影响但对画面细节的变化也更加不敏感；将两帧画面按照同样的规则分割成n张子图，分别记为{a_n}和{b_n}，下标相同的子图在画面中处于相同的位置，由于常见的画中画皆为矩形且占据画面的面积约在1/9～1/16之间，所以按照横纵3x3的九宫格或4x4的十六宫格的方式分割画面可以保证画中画的绝大部分面积都处于某一子图内；对每一对下标相同的子图计算差异值得到差异值表{d_n}，比较简单的差异度算法可以将两图对应像素值作差并平方的平均值作为画面差异度，公式为d_i＝mean((a_i–b_i)²)，其中mean为求平均值，这种画面差异度衡量了每个像素之间的距离，对画面整体型有很好的描述且对个别噪点像素不敏感，但受到画面偏移的影响巨大；剔除差异值表{d_n}中的离群值来消除动态画中画对整体差异度的影响，离群值即与其他数据相差较大的数据，在差异值表中的意义便是画中画所在子图的差异值，若剔除该值便能消除画中画对整体画面的影响，剔除方法可以简单地采用去掉最大值；根据剔除了离群值的差异值表{d_n}计算画面整体的差异值diff，计算方法为diff＝mean(d_n)，式中，diff表示画面差异度，mean表示取算数平均函数；

优选地，可以同时选用多种分割方式来计算画面差异度，如同时选择3x3、4x3、3x4、4x4、5x5等分割方式计算对应差异值，然后选择其中最小的画面差异度作为最终的画面差异度，这样可以同时适应更广泛的画中画尺寸和位置，但对会有额外的计算开销。

优选地，画面差异度的计算也可以调整为相似度的计算，其方法可以选用SSIM(结构相似性度量)、余弦相似度和图像互信息等更加复杂的算法，画面差异度的算法对整个系统的影响巨大，根据场景和用户需求选用不同的算法可以使得系统拥有更好的泛用性。

步骤(1.3)、确定当前的系统模式是否为截图模式，如是，则进入步骤(1.5)，否则进入步骤(1.4)；

其中，确定当前的系统模式是否为截图模式，而系统初始模式则为非截图模式；

步骤(1.4)、确定连续若干个画面差异度是否均小于预先设置的截图启动阈值t_start，如是，则画面中出现持续静态画面，即幻灯片，此时启动截图模式并返回步骤(1.3)，如否，则返回步骤(1.1)；

步骤(1.5)、确定画面差异度是否大于预先设置的截图阈值，如是，则将当前的关键帧画面保存到文件中完成一次截图，如否，则返回步骤(1.1)；

步骤(1.6)、对于保存至文件中的截图，确定连续若干个画面差异度是否均大于截图阈值；如是，则画面连续快速变化，即非幻灯片，此时关闭截图模式并返回步骤(1.1)，否则直接返回步骤(1.1)。

其中，所述截图模式的工作流程如下：获取关键帧并按照步骤(1.2)计算画面差异度。

优选地，引入幻灯片分组功能，在截图保存到文件的过程中，可以根据分组给文件名附加组号来更好地在同一段视频中区分出不同幻灯片并加以管理和统计；其中关键点为如何划分分组，可以在每次退出截图模式的同时记录当前关键帧的时间戳为et，待下一次启动截图模式时，将当前帧时间戳减去et便可得到两次截图模式中间的间隔；若间隔小于某一阈值，可以认为只是发生了一次镜头交替，保持当前分组继续截图，反之可以认为上一段幻灯片已经结束，开始了新的幻灯片，当前组号增加，开启新的分组进行截图。

优选地，考虑到主讲人演说时可能会在若干张幻灯片内反复切换讲解，此时若不加以检测会反复截取重复幻灯片；此时可以引入重复图片检测功能，维护一个关键帧队列保留前若干张截取的图片，每次截图前需要将当前关键帧与队列中所有帧一一比对计算差异度，满足与队列所有帧都不重复时才截图；每次截图时还要取出队列中的一帧舍弃并放入新截图的一帧；另外在幻灯片分组情况下，每次开启新的分组时需要清空该队列。

优选地，考虑到长期静态画面不一定是幻灯片，也有可能是开幕画面等其他有可能长时间静态的情况，可以引入小分组删除功能；所谓小分组即幻灯片数量小于某一阈值的分组，此时因为该分组图片量过少可以认为该分组并非幻灯片，可以在结束分组时将其删除，从而进一步保证截图的精确性。

具体实施例：

以某物联网创新峰会录制视频为例，介绍具体实施过程；视频时长约两个半小时，帧率为25fps，其中包括三段带有幻灯片的主题演讲，每段幻灯片的长度均在30～40页左右。

通过本文所述方法可做到不遗漏不重复地截取三段幻灯片的每一页并分组储存到文件；选取基频bf为1，即每秒分析一帧画面，前端取帧模块每秒会获取一帧画面用于分析；

视频开始为一段时间的峰会标题封面显示，此时画面长时间静止，出现连续6秒以上的静态画面，系统检测到连续6个以上的差异度小于启动阈值t_start，系统进入截图模式，开启截图分组1号并截取该封面1-1进入该分组同时记录当前视频时间戳；

随后主持人上台做开场白，画面连续变化5秒以上，差异度均超过t_shot，系统连续截图(1-2,1-3,1-4,1-5,1-6)，系统检测到连续5个以上的差异度大于截图阈值t_shot，系统退出截图模式并删除前5张截取的图片；

经过一段领导讲话和嘉宾介绍后，第一段主题演讲开始，画面显示为幻灯片封面，出现连续6秒以上的静态画面，系统检测到连续6个以上的差异度小于启动阈值t_start，系统查看时间戳发现距离上一次进入截图模式时间超过一分钟，检查上一分组1内图片数量发现仅有1张(1-1)，因此判断为非幻灯片，删除该分组，系统进入截图模式，重新开启分组1并截取该封面进入该分组同时记录当前视频时间戳；

演讲人进行开场白，画面切换为演讲人20秒左右，此时画面连续变化5秒以上，差异度均超过t_shot，系统连续截图(1-2,1-3,1-4,1-5,1-6)，系统检测到连续5个以上的差异度大于截图阈值t_shot，系统退出截图模式并删除前5张截取的图片；

画面切为幻灯片的第二页，演讲人开始讲解，出现连续6秒以上的静态画面，系统检测到连续6个以上的差异度小于启动阈值t_start，系统查看时间戳发现距离上一次进入截图模式时间未超过一分钟，系统进入截图模式，截取该页幻灯片(1-2)进入分组1；

幻灯片1～6页截取完成后，演讲人在第5、6页幻灯片间反复切换数次进行讲解，此时画面差异度连续变化，但系统在分组1中发现已存在第5、6页幻灯片，所以不进行截图；

演讲完毕，此时已截取完第31页幻灯片(1-31)，随后主持人重新上台介绍下一位演讲人，画面连续变化5秒以上，差异度均超过t_shot，系统连续截图(1-32,1-33,1-34,1-35,1-36)，系统检测到连续5个以上的差异度大于截图阈值t_shot，系统退出截图模式并删除前5张截取的图片；

第二段主题演讲开始，画面显示为幻灯片封面，出现连续6秒以上的静态画面，系统检测到连续6个以上的差异度小于启动阈值t_start，系统查看时间戳发现距离上一次进入截图模式时间超过一分钟，检查上一分组1内图片数量发现有31张图片，因此判断为完整的幻灯片组，至此第一组幻灯片截图完毕，随后系统进入截图模式，开启新的分组2并截取该封面(2-1)进入该分组；

以此类推；

经过以上截图模式的反复切换，直到视频结束，最终顺利截取了三组完整的幻灯片图片，组1共31页、组2共43页、组3共33页。

最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims (4)

1.一种从视频中识别并截取静态幻灯片的方法，其特征在于，具体操作步骤如下：

步骤(1.1)、从原始视频源中提取关键帧A进行分析；

步骤(1.2)、根据提取的关键帧A和上一个关键帧B计算出画面差异度；

其具体算法如下：对两帧画面进行高斯模糊；将两帧画面按照同样的规则分割成n张子图，分别记为{a_n}和{b_n}，下标相同的子图在画面中处于相同的位置；对每一对下标相同的子图进行按像素作差平方再取平均作为差异值得到差异值表{d_n}；剔除差异值表{d_n}中的离群值来消除动态画中画对整体画面差异度的影响；根据剔除的离群值的差异值表{d_n}计算画面整体的差异度，其计算方法为diff＝mean(d_n)，式中，diff表示画面差异度，mean表示取算数平均函数；

步骤(1.3)、确定当前的系统模式是否为截图模式，如是，则进入步骤(1.5)，否则进入步骤(1.4)；

步骤(1.4)、确定连续若干个画面差异度是否均小于预先设置的截图启动阈值t_start，如是，则画面中出现持续静态画面，即幻灯片，此时启动截图模式并返回步骤(1.3)，如否，则返回步骤(1.1)；

步骤(1.5)、确定画面差异度是否大于预先设置的截图阈值，如是，则将当前的关键帧画面保存到文件中完成一次截图，如否，则返回步骤(1.1)；

步骤(1.6)、对于保存至文件中的截图，确定连续若干个画面差异度是否均大于截图阈值；如是，则画面连续快速变化，即非幻灯片，此时关闭截图模式并返回步骤(1.1)，否则直接返回步骤(1.1)。

2.根据权利要求1所述的一种从视频中识别并截取静态幻灯片的方法，其特征在于，在所述步骤(1.1)中，从原始视频源中提取关键帧A进行分析的具体操作规则如下：根据原始视频源的帧率和预先设置的分析基础频率计算出帧保留阈值，其计算公式如下：

kt＝round(fps/bf)，式中，round表示取整函数，fps表示原始视频源的帧率；bf表示分析基础频率；所述kt表示帧保留阈值；

持续从视频中获取帧，每取一次帧保留阈值便保留一帧作为关键帧A，将保留的关键帧A将用于后续的分析过程。

3.根据权利要求2所述的一种从视频中识别并截取静态幻灯片的方法，其特征在于，

所述的分析基础频率根据后续步骤中的截图情况动态调整，当截图密集时，通过调高分析基础频率来提升分析频率。

4.根据权利要求1所述的一种从视频中识别并截取静态幻灯片的方法，其特征在于，在步骤(1.3)中，所述截图模式的工作流程是根据获取的关键帧并按照步骤(1.2)计算画面差异度。

Images