CN111723713B - 一种基于光流法的视频关键帧提取方法及系统 - Google Patents

Abstract

本申请公开了一种基于光流法的视频关键帧提取方法。步骤S10：对第一个图像帧进行特征点提取，得到特征点集合P。步骤S20：使用光流法跟踪特征点集合P在当前图像帧的位置，更新特征点集合P。步骤S30：将当前图像帧缓存至一个循环队列c中。步骤S40：判断特征点集合P中的特征点数量是否小于预设阈值t。步骤S50：对循环队列c中的每一个图像帧进行反光判定。步骤S60：从循环队列c中没有反光的所有图像帧中选取最清晰的图像帧k作为关键帧存储在关键帧队列q中。步骤S70：对图像帧k进行特征点提取，得到新的特征点集合P。步骤S80：重复步骤S20至步骤S70直至视频的所有图像帧处理完毕。本申请运算资源要求低、运算速度快、提取出的关键帧的质量高。

Description

一种基于光流法的视频关键帧提取方法及系统

技术领域

本申请涉及一种图像处理方法，特别是涉及一种对视频流数据进行分析以获取视频关键帧的方法。

背景技术

关键帧(key frame)是指包含关键信息的帧(frame)，如物体运动中的关键动作帧。视频中冗余信息较多，关键帧可以概括视频场景事件。

目前视频关键帧的提取方法主要有：基于颜色或颜色直方图(color histogram)帧差(frame difference)的方法、基于运动分析的方法、基于视频帧聚类(cluster)的方法等。基于颜色或颜色直方图帧差的方法对光线变化敏感，不能体现局部细节变化。基于视频帧聚类的方法虽然可有效获取镜头显著变化的视觉内容，但聚类的方法不能保持视频帧所具有的时序关系。另外，目前所知的视频关键帧提取方法都没有对提取到的关键帧进行图像质量判断。

光流法(Optical flow)通常用于图像序列(image sequence)中，用来描述相对于观察者的运动所造成的观测目标、表面、边缘的运动。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系的方法，可以计算出相邻帧之间物体的运动信息。视频相比图像信息更加丰富，但一个视频序列(video sequence)冗余信息多。视频中相邻两帧信息冗余较大，对每帧做拼接(Stitching)没有必要，会增加系统计算复杂度。

发明内容

本申请所要解决的技术问题是提供一种视频关键帧提取方法，具有硬件资源要求低、运算速度快、提取的关键帧质量高等特点。

为解决上述技术问题，本申请提出了一种基于光流法的视频关键帧提取方法，包括如下步骤。步骤S10：读取视频的第一个图像帧，将第一个图像帧作为关键帧存储在关键帧队列q中；对第一个图像帧进行特征点提取，得到特征点集合P。步骤S20：读取视频的下一个图像帧作为当前图像帧，使用光流法跟踪特征点集合P在当前图像帧的位置，删除特征点集合P中在当前图像帧跟踪失败的特征点，保留特征点集合P中在当前图像帧跟踪成功的特征点，以此更新特征点集合P。步骤S30：将当前图像帧缓存至一个循环队列c中，循环队列c的容量为m，m＞1。步骤S40：判断特征点集合P中的特征点数量是否小于预设阈值t；如果是则进入步骤S50；如果否，则重复步骤S20至步骤S40直至特征点集合P中的特征点数量小于预设阈值t。步骤S50：对循环队列c中的每一个图像帧进行反光判定，删去循环队列c中存在反光的图像帧，保留没有反光的图像帧。步骤S60：从循环队列c中没有反光的所有图像帧中选取最清晰的图像帧k作为关键帧存储在关键帧队列q中。步骤S70：对图像帧k进行特征点提取，得到新的特征点集合P。步骤S80：重复步骤S20至步骤S70直至视频的所有图像帧处理完毕，将视频的最后一个图像帧作为关键帧存储在关键帧队列q中，关键帧队列q就是从视频中提取出的所有关键帧。上述方法可以无监督地自动从视频中提取关键帧，并且运算资源要求低、运算速度快、提取出的关键帧的质量高。

进一步地，所述步骤S10和步骤S70中，对图像帧进行特征点提取采用ORB算法。ORB算法的优势在于所提取的特征点对光线、旋转不敏感、容忍一定范围尺度变换、速度快。

进一步地，所述步骤S20中，所述光流法采用卢卡斯-卡纳德方法；其依赖于三个假设——亮度恒定假设、小运动假设和空间一致性假设。卢卡斯-卡纳德方法的优势是在亮度梯度较小的位置仍能保持较高的准确性。

进一步地，所述步骤S20采用卢卡斯-卡纳德方法实现具体包括如下步骤。步骤S21：根据亮度恒定假设，得到公式一。公式一：I(x,y,t)＝I(x+δx,y+δy,t+δt)；其中，I(x,y,t)为最新得到的关键帧特征点处的图像灰度，I(x+δx,y+δy,t+δt)为当前图像帧特征点处的图像灰度。步骤S22：根据小运动假设，将公式一右侧用泰勒级数展开，得到公式二和公式三。公式二：

其中，I表示亮度，x表示x轴方向坐标，y表示y轴方向坐标，t表示时间。公式三：I_xV_x+I_yV_y＝-I_t；其中，I_x、I_y分别表示亮度在x轴、y轴方向上的梯度，V_x、V_y表示特征点的光流(V_x,V_y)，I_t表示亮度在时间上的梯度。步骤S23：根据空间一致性假设，利用3x3窗口内的9个像素点建立9个方程，简写为公式四。公式四：

采用最小二乘法求解公式四，最终得到公式五。公式五：

根据公式五计算出来的特征点的光流(V_x,V_y)，计算当前图像帧中跟踪到的特征点、以及跟踪到的特征点坐标；删除特征点集合P中跟踪失败的特征点，保留特征点集合P中跟踪成功的特征点，更新特征点集合P。这是步骤S20的一种优选实现方式。

进一步地，所述步骤S30中，循环队列c用于保存最新的m个图像帧；在处理每一个图像帧时，当前图像帧只与之前的m-1个图像帧进行运算或处理。这样可以减轻运算或处理的资源要求，从而适用于更多的应用场景(例如移动终端)。m的取值原则是：一方面不能太小，以保证能从中能选出清晰的图像帧；同时又不能太大，避免计算过多。m的优选取值例如为8。

进一步地，所述步骤S40中，当视频的图像帧尺寸为1920像素*1080像素时，t的取值为200。这是预设阈值t的取值的优选示例。t的取值原则是：一方面不能使关键帧重叠区域太大(重叠区大则跟踪成功的关键点多，重叠区小则跟踪成功的关键点则少)，所以t不能太大，避免得到的关键帧重叠过多；另一方面t不宜太小，避免关键帧间重叠区过小，匹配不准。

进一步地，所述步骤S50中，所述反光判定是对循环队列c中的每一个图像帧做计算蓝、绿、红三个通道的平均亮度，如果都高于预设阈值，则判定该图像帧存在反光；否则判定该图像帧没有反光。这是步骤S50的一种优选实现方式。

进一步地，所述步骤S60中，所述清晰度筛选是将循环队列c中没有反光的所有图像帧从BGR彩色图像转换为灰度图像，再对图像灰度值做拉普拉斯算子处理，计算处理后图像的灰度值方差，选取方差最大的图像帧k作为最清晰的图像帧。这是步骤S60的一种实现原理。

进一步地，所述步骤S60进一步包括如下步骤。步骤S61：读取循环队列c中的某一个图像帧。步骤S62：将该图像帧从彩色图像像素BGR值转换为灰度图像，对图像灰度值计算拉普拉斯算子。步骤S63：计算处理后图像的灰度值方差，将方差保存到队列V中。步骤S64：重复步骤S61至步骤S63，直至对循环队列c中的所有图像帧计算了灰度值方差并保存到队列V中。步骤S65：寻找队列V中的最大值，并将对应的图像帧k作为最清晰的图像帧，同时将图像帧k作为关键帧存入关键帧队列q中。这是步骤S60的一种优选实现方式。

本申请还提出了一种基于光流法的视频关键帧提取系统，包括图像帧读取单元、图像帧缓存单元、关键帧存储单元、特征点提取单元、特征点跟踪单元、特征点筛选单元、反光判定单元以及清晰度筛选单元。所述图像帧读取单元用来从视频中按照从前到后的顺序依次读取每一个图像帧，作为当前图像帧。所述图像帧缓存单元用来将所述图像帧读取单元读取的最新的m个图像帧缓存起来。所述关键帧存储单元用来将视频中的所有关键帧保存在一个关键帧队列q中；视频的第一个图像帧以及最后一个图像帧总是作为关键帧保存起来；当所述图像帧读取单元读取到最后一个图像帧，所述关键帧存储单元获取的关键帧队列q就是从视频中提取出的所有关键帧。所述特征点提取单元对最新得到的关键帧进行特征点提取，得到特征点集合P。所述特征点跟踪单元用来使用光流法跟踪最新得到的关键帧的特征点集合P在当前图像帧的位置，删除特征点集合P中在当前图像帧跟踪失败的特征点，保留特征点集合P中在当前图像帧跟踪成功的特征点，以此更新特征点集合P。所述特征点筛选单元用来判断特征点集合P中的特征点数量是否小于预设阈值t；如果是，所述图像帧缓存单元缓存的m个图像帧送入反光判定单元；如果否，则由所述图像帧读取单元读取新的图像帧，由所述图像帧缓存单元缓存最新的m个图像帧，由所述特征点跟踪单元跟踪最新得到的关键帧的特征点集合P在新读取的图像帧的位置，并以此更新特征点集合P，直至特征点集合P中的特征点数量小于预设阈值t；然后，所述图像帧缓存单元缓存的m个图像帧送入反光判定单元。所述反光判定单元用来对所述图像帧缓存单元缓存的m个图像帧是否存在反光进行判定，删除存在反光的图像帧，保留没有反光的图像帧，保留的图像帧送入清晰度筛选单元。所述清晰度筛选单元用来对所述图像帧缓存单元缓存的m个图像帧中没有反光的图像帧再进行清晰度判断，选择其中最清晰的图像帧k作为关键帧。上述系统可以无监督地自动从视频中提取关键帧，并且运算资源要求低、运算速度快、提取出的关键帧的质量高。

本申请取得的技术效果包括如下几个方面。

第一，本申请从视频图像帧的特征信息角度出发，选取的关键帧之间有内容相关性，关键帧表示能力更强，能很好地避免冗余帧的出现，并且能够自动决定关键帧的数量。

第二，本申请使用快速图像特征点检测与提取，还采用光流法在图像帧之间追踪给定的特征点，对计算资源要求少且速度快，无需GPU(Graphic Processing Unit，图像处理单元)亦可在手机等移动终端上实时处理，适用于更多的应用场景。

第三，本申请在提取关键帧的同时，采用反光判定与清晰度筛选来评估图像帧的质量，避免获取到的关键帧出现模糊和/或反光的问题，保证获取到的关键帧清晰且无光斑，从而保证获取到高质量的关键帧。

第四，本申请可作为视频内容拼接的前处理操作，使拼接操作仅对关键帧进行，从而在保证拼接效果的同时，减少了运算时间，降低拼接复杂度。

附图说明

图1是本申请提出的基于光流法的视频关键帧提取方法的流程图。

图2是图1中的步骤S60的具体实现方法的流程图。

图3是本申请提出的基于光流法的视频关键帧提取系统的结构示意图。

图中附图标记说明：10为图像帧读取单元、20为图像帧缓存单元、30为关键帧存储单元、40为特征点提取单元、50为特征点跟踪单元、60为特征点筛选单元、70为反光判定单元、80为清晰度筛选单元。

具体实施方式

请参阅图1，本申请提出的基于光流法的视频关键帧提取方法包括如下步骤。

步骤S10：读取视频的第一个图像帧，将第一个图像帧作为关键帧存储在关键帧队列q中。对第一个图像帧(即初始关键帧)进行特征点(feature point)提取，得到特征点集合P。这一步中，在图像帧中提取特征点的原则为要求特征点对光线、旋转不敏感、容忍一定范围尺度变换(scale transform)、速度快。例如采用ORB(Oriented FAST and RotatedBRIEF，定向FAST和旋转BRIEF)算法，这是一种快速特征点提取和描述的算法，是FAST(Features from Accelerated Segment Test，加速段测试的特征)特征点提取算法和BRIEF(Binary Robust Independent Elementary Features，二进制鲁棒独立基本特征)特征点描述算法的结合。

步骤S20：读取视频的下一个图像帧作为当前图像帧，使用光流法跟踪特征点集合P在当前图像帧的位置，删除特征点集合P中在当前图像帧跟踪失败的特征点，保留特征点集合P中在当前图像帧跟踪成功的特征点，以此更新特征点集合P。

步骤S30：将当前图像帧缓存至一个循环队列c中，循环队列c的容量为m，m＞1。例如m的取值为8。循环队列c用于保存最新的m个图像帧，因此在处理每一个图像帧时，当前图像帧只与之前的m-1个图像帧进行运算或处理，这样可以减轻运算或处理负担。结合后续的步骤S50、步骤S60可知，本申请是在最新的m个图像帧中通过去除反光的图像帧、选取最清晰的图像帧，最终得到质量高的图像帧作为关键帧保留。

步骤S40：判断特征点集合P中的特征点数量是否小于预设阈值t。如果是则进入步骤S50。如果否，则重复步骤S20至步骤S40直至特征点集合P中的特征点数量小于预设阈值t。例如，视频的图像帧尺寸为1920像素*1080像素，则t的取值为200。

步骤S50：对循环队列c中的每一个图像帧进行反光判定，删去循环队列c中存在反光的图像帧，仅保留没有反光的图像帧。所述反光判定例如是对循环队列c中的每一个图像帧做BGR通道(即蓝色通道、绿色通道、红色通道)分离，根据通道区域平均亮度值判断是否有图像帧存在反光。例如，对循环队列c中的每一个图像帧计算蓝、绿、红三个通道的平均亮度，如果都高于预设阈值(例如200)，则判定该图像帧存在反光；否则判定该图像帧没有反光。

步骤S60：从循环队列c中没有反光的所有图像帧中选取最清晰的图像帧k作为关键帧存储在关键帧队列q中。这一步例如是通过计算拉普拉斯算子来判断图像帧的清晰度。所述清晰度筛选例如是将循环队列c中没有反光的所有图像帧从BGR彩色图像转换为灰度图像(gray image)，对图像灰度值做拉普拉斯算子(Laplace operator)处理，计算处理后图像的灰度值方差，选取方差最大的图像帧k作为最清晰的图像帧。

步骤S70：对图像帧k(即最新得到的关键帧)进行特征点提取，得到新的特征点集合P。这一步中，特征点提取的原则及算法与步骤S10相同。

步骤S80：重复步骤S20至步骤S70直至视频的所有图像帧处理完毕，将视频的最后一个图像帧作为关键帧存储在关键帧队列q中，关键帧队列q就是从视频中提取出的所有关键帧。

进一步地，所述步骤S20中的光流法例如采用卢卡斯-卡纳德方法(Lucas–Kanademethod)计算图像帧之间的像素的对应关系，这是一种广泛使用的光流估计差分方法，其依赖于三个假设——亮度恒定假设(brightness constancy assumption)、小运动假设(small motion assumption)和空间一致性假设(Spatial coherence assumption)。卢卡斯-卡纳德方法的优势是在亮度梯度较小的位置仍能保持较高的准确性。

进一步地，所述步骤S20中采用卢卡斯-卡纳德方法实现具体包括如下步骤。

步骤S21：根据亮度恒定假设，即同一点随着时间的变化，其亮度不会发生改变；因此物体上每个点的灰度是恒定的，得到公式一。

公式一：I(x,y,t)＝I(x+δx,y+δy,t+δt)。其中，I(x,y,t)为最新得到的关键帧特征点处的图像灰度，I(x+δx,y+δy,t+δt)为当前图像帧特征点处的图像灰度。

步骤S22：根据小运动假设，即时间的变化不会引起位置的剧烈变化；保证了图像的灰度是可微(differentiable)的，将公式一右侧用泰勒级数(taylor series)展开，得到公式二和公式三。

公式二：

其中，I表示亮度，x表示x轴方向坐标，y表示y轴方向坐标，t表示时间。

公式三：I_xV_x+I_yV_y＝-I_t。其中，I_x、I_y分别表示亮度在x轴、y轴方向上的梯度，V_x、V_y表示特征点的光流(V_x,V_y)，I_t表示亮度在时间上的梯度。

步骤S23：根据空间一致性假设，即一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致；利用3x3窗口内的9个像素点建立9个方程，简写为公式四。

公式四：

采用最小二乘法求解公式四，最终得到公式五。

公式五：

根据公式五计算出来的特征点的光流(V_x,V_y)，计算当前图像帧中跟踪到的特征点、以及跟踪到的特征点坐标。删除特征点集合P中跟踪失败的特征点，保留特征点集合P中跟踪成功的特征点，更新特征点集合P。

进一步地，所述步骤S60包括如下步骤，如图2所示。

步骤S61：读取循环队列c中的某一个图像帧。

步骤S62：将该图像帧从彩色图像像素BGR值转换为灰度图像，对图像灰度值计算拉普拉斯算子。

步骤S63：计算处理后图像的灰度值方差，将方差保存到队列V中。

步骤S64：重复步骤S61至步骤S63，直至对循环队列c中的所有图像帧计算了灰度值方差并保存到队列V中。

步骤S65：寻找队列V中的最大值，并将对应的图像帧k作为最清晰的图像帧，同时将图像帧k作为关键帧存入关键帧队列q中。

请参阅图3，本申请提出的基于光流法的视频关键帧提取系统包括图像帧读取单元10、图像帧缓存单元20、关键帧存储单元30、特征点提取单元40、特征点跟踪单元50、特征点筛选单元60、反光判定单元70以及清晰度筛选单元80。

所述图像帧读取单元10用来从视频中按照从前到后的顺序依次读取每一个图像帧，作为当前图像帧。

所述图像帧缓存单元20用来将所述图像帧读取单元10读取的最新的m个图像帧缓存起来，例如缓存到一个容量为m的循环队列c中。

所述关键帧存储单元30用来保存视频中的所有关键帧，例如保存在一个关键帧队列q中。视频的第一个图像帧以及最后一个图像帧总是作为关键帧保存起来。当所述图像帧读取单元10读取到最后一个图像帧，所述关键帧存储单元30获取的关键帧队列q就是从视频中提取出的所有关键帧。

所述特征点提取单元40对最新得到的关键帧进行特征点提取，得到特征点集合P。

所述特征点跟踪单元50用来使用光流法跟踪最新得到的关键帧的特征点集合P在当前图像帧的位置，删除特征点集合P中在当前图像帧跟踪失败的特征点，保留特征点集合P中在当前图像帧跟踪成功的特征点，以此更新特征点集合P。

所述特征点筛选单元60用来判断特征点集合P中的特征点数量是否小于预设阈值t。如果是，所述图像帧缓存单元20缓存的m个图像帧送入反光判定单元70。如果否，则由所述图像帧读取单元10读取新的图像帧，由所述图像帧缓存单元20缓存最新的m个图像帧，由所述特征点跟踪单元50跟踪最新得到的关键帧的特征点集合P在新读取的图像帧的位置，并以此更新特征点集合P，直至特征点集合P中的特征点数量小于预设阈值t。然后，所述图像帧缓存单元20缓存的m个图像帧送入反光判定单元70。

所述反光判定单元70用来对所述图像帧缓存单元20缓存的m个图像帧是否存在反光进行判定，删除存在反光的图像帧，保留没有反光的图像帧，保留的图像帧送入清晰度筛选单元80。

所述清晰度筛选单元80用来对所述图像帧缓存单元20缓存的m个图像帧中没有反光的图像帧再进行清晰度判断，选择其中最清晰的图像帧k作为关键帧。

以上仅为本申请的优选实施例，并不用于限定本申请。对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于光流法的视频关键帧提取方法，其特征是，包括如下步骤；

步骤S10：读取视频的第一个图像帧，将第一个图像帧作为关键帧存储在关键帧队列q中；对第一个图像帧进行特征点提取，得到特征点集合P；

步骤S20：读取视频的下一个图像帧作为当前图像帧，使用光流法跟踪特征点集合P在当前图像帧的位置，删除特征点集合P中在当前图像帧跟踪失败的特征点，保留特征点集合P中在当前图像帧跟踪成功的特征点，以此更新特征点集合P；

步骤S30：将当前图像帧缓存至一个循环队列c中，循环队列c的容量为m，m＞1；

步骤S40：判断特征点集合P中的特征点数量是否小于预设阈值t；如果是则进入步骤S50；如果否，则重复步骤S20至步骤S40直至特征点集合P中的特征点数量小于预设阈值t；

步骤S50：对循环队列c中的每一个图像帧进行反光判定，删去循环队列c中存在反光的图像帧，保留没有反光的图像帧；

步骤S60：从循环队列c中没有反光的所有图像帧中选取最清晰的图像帧k作为关键帧存储在关键帧队列q中；

步骤S70：对图像帧k进行特征点提取，得到新的特征点集合P；

步骤S80：重复步骤S20至步骤S70直至视频的所有图像帧处理完毕，将视频的最后一个图像帧作为关键帧存储在关键帧队列q中，关键帧队列q就是从视频中提取出的所有关键帧。

2.根据权利要求1所述的基于光流法的视频关键帧提取方法，其特征是，所述步骤S10和步骤S70中，对图像帧进行特征点提取采用ORB算法。

3.根据权利要求1所述的基于光流法的视频关键帧提取方法，其特征是，所述步骤S20中，所述光流法采用卢卡斯-卡纳德方法；其依赖于三个假设——亮度恒定假设、小运动假设和空间一致性假设。

4.根据权利要求3所述的基于光流法的视频关键帧提取方法，其特征是，所述步骤S20采用卢卡斯-卡纳德方法实现具体包括如下步骤；

步骤S21：根据亮度恒定假设，得到公式一；

公式一：I(x,y,t)＝I(x+δx,y+δy,t+δt)；其中，I(x,y,t)为最新得到的关键帧特征点处的图像灰度，I(x+δx,y+δy,t+δt)为当前图像帧特征点处的图像灰度；

步骤S22：根据小运动假设，将公式一右侧用泰勒级数展开，得到公式二和公式三；

公式二：

其中，I表示亮度，x表示x轴方向坐标，y表示y轴方向坐标，t表示时间；

公式三：I_xV_x+I_yV_y＝-I_t；其中，I_x、I_y分别表示亮度在x轴、y轴方向上的梯度，V_x、V_y表示特征点的光流(V_x,V_y)，I_t表示亮度在时间上的梯度；

步骤S23：根据空间一致性假设，利用3x3窗口内的9个像素点建立9个方程，简写为公式四；

公式四：

采用最小二乘法求解公式四，最终得到公式五；

公式五：

根据公式五计算出来的特征点的光流(V_x,V_y)，计算当前图像帧中跟踪到的特征点、以及跟踪到的特征点坐标；删除特征点集合P中跟踪失败的特征点，保留特征点集合P中跟踪成功的特征点，更新特征点集合P。

5.根据权利要求1所述的基于光流法的视频关键帧提取方法，其特征是，所述步骤S30中，循环队列c用于保存最新的m个图像帧；在处理每一个图像帧时，当前图像帧只与之前的m-1个图像帧进行运算或处理。

6.根据权利要求1所述的基于光流法的视频关键帧提取方法，其特征是，所述步骤S40中，当视频的图像帧尺寸为1920像素*1080像素时，t的取值为200。

7.根据权利要求1所述的基于光流法的视频关键帧提取方法，其特征是，所述步骤S50中，所述反光判定是对循环队列c中的每一个图像帧做计算蓝、绿、红三个通道的平均亮度，如果都高于预设阈值，则判定该图像帧存在反光；否则判定该图像帧没有反光。

8.根据权利要求1所述的基于光流法的视频关键帧提取方法，其特征是，所述步骤S60中，所述清晰度筛选是将循环队列c中没有反光的所有图像帧从BGR彩色图像转换为灰度图像，再对图像灰度值做拉普拉斯算子处理，计算处理后图像的灰度值方差，选取方差最大的图像帧k作为最清晰的图像帧。

9.根据权利要求1所述的基于光流法的视频关键帧提取方法，其特征是，所述步骤S60进一步包括如下步骤；

步骤S61：读取循环队列c中的某一个图像帧；

步骤S62：将该图像帧从彩色图像像素BGR值转换为灰度图像，对图像灰度值计算拉普拉斯算子；

步骤S63：计算处理后图像的灰度值方差，将方差保存到队列V中；

步骤S64：重复步骤S61至步骤S63，直至对循环队列c中的所有图像帧计算了灰度值方差并保存到队列V中；

步骤S65：寻找队列V中的最大值，并将对应的图像帧k作为最清晰的图像帧，同时将图像帧k作为关键帧存入关键帧队列q中。

10.一种基于光流法的视频关键帧提取系统，其特征是，包括图像帧读取单元、图像帧缓存单元、关键帧存储单元、特征点提取单元、特征点跟踪单元、特征点筛选单元、反光判定单元以及清晰度筛选单元；

所述图像帧读取单元用来从视频中按照从前到后的顺序依次读取每一个图像帧，作为当前图像帧；

所述图像帧缓存单元用来将所述图像帧读取单元读取的最新的m个图像帧缓存起来；

所述关键帧存储单元用来将视频中的所有关键帧保存在一个关键帧队列q中；视频的第一个图像帧以及最后一个图像帧总是作为关键帧保存起来；当所述图像帧读取单元读取到最后一个图像帧，所述关键帧存储单元获取的关键帧队列q就是从视频中提取出的所有关键帧；

所述特征点提取单元对最新得到的关键帧进行特征点提取，得到特征点集合P；

所述特征点跟踪单元用来使用光流法跟踪最新得到的关键帧的特征点集合P在当前图像帧的位置，删除特征点集合P中在当前图像帧跟踪失败的特征点，保留特征点集合P中在当前图像帧跟踪成功的特征点，以此更新特征点集合P；

所述特征点筛选单元用来判断特征点集合P中的特征点数量是否小于预设阈值t；如果是，所述图像帧缓存单元缓存的m个图像帧送入反光判定单元；如果否，则由所述图像帧读取单元读取新的图像帧，由所述图像帧缓存单元缓存最新的m个图像帧，由所述特征点跟踪单元跟踪最新得到的关键帧的特征点集合P在新读取的图像帧的位置，并以此更新特征点集合P，直至特征点集合P中的特征点数量小于预设阈值t；然后，所述图像帧缓存单元缓存的m个图像帧送入反光判定单元；

所述反光判定单元用来对所述图像帧缓存单元缓存的m个图像帧是否存在反光进行判定，删除存在反光的图像帧，保留没有反光的图像帧，保留的图像帧送入清晰度筛选单元；

所述清晰度筛选单元用来对所述图像帧缓存单元缓存的m个图像帧中没有反光的图像帧再进行清晰度判断，选择其中最清晰的图像帧k作为关键帧。

Images