CN103413322A - 序列视频关键帧提取方法 - Google Patents

Abstract

本发明公开了一种序列视频的关键帧提取方法。包括如下步聚：（1）捕获序列视频，将序列视频分割成视频帧，针对序列视频中的前n帧图像，对其进行特征点提取与匹配，并对特征点进行跟踪；根据基线长度、特征点分布状况等约束条件在序列视频中选择两帧图像作为初始关键帧；（2）在获得初始关键帧的基础上，根据图像特征点匹配率来确定关键帧候选集合；（3）根据焦距变化约束及模型鲁棒选择准则（GRIC，Geometric Robust Infromation Criterion）从关键帧候选集合中进一步确定关键帧图像。根据本发明的方法获得的关键帧图像可用于序列视频的三维重建和量测，也可适用于序列视频数据的压缩等。

Description

序列视频关键帧提取方法

技术领域

本发明属于计算机视觉、摄影测量和图像处理技术领域，涉及序列视频关键帧提取方法。

背景技术

随着技术的发展，各类数码相机和摄像机以及手机等数字产品已经成为人们生活的必需品，这些产品有一个共同的特点：可以方便获取影像数据。影像不仅是一种大众化的娱乐媒介，更是一种历史风貌、环境变迁、场景描述的真实再现，因此，可以说图像是表达现实世界的有效载体。面对人们迫切需要图像也能真实还原现实世界的需求，需要充分挖掘图像中包含的三维几何信息，而如何有效解决该问题是计算机视觉与摄影测量面临的共同挑战。在众多影像数据中，视频是一类重要的信息源，不仅具有一般图像、影像的特征，还具有时间属性等，因此，从视频数据中有效提取对象三维信息的技术有着巨大的市场需求。

基于视频序列的三维重建可有效恢复对象的三维模型，从而方便进一步获取对象的相关信息。视频数据的一大特点是相邻图像间重叠度高，一方面可为重建提供丰富的信息，但同时也带来重建效率较低的问题。传统的重建方法大都将整个视频数据纳入重建的流程，这不仅影响重建效率，同时也会降低重建的精度。因此，有必要从序列视频中选择部分图像用于重建，将这些选择出来的图像称为关键帧图像。

关键帧提取方法最早由Farid在文章“基于多视图的宽基线立体图像选取策略”（Viewselection strategies for multi-view,wide-base stereo，Technical Report MS-CIS-94-18,University ofPennsylvania,1994）中提出，该方法当时主要应用于多视图立体几何中。现有的关键帧提取方法主要根据关键帧选取时采用的约束条件不同而分为不同的方法，主要有以下几类：基于运动恢复结构的关键帧选取方法，该类方法首先选择跟踪时间较长的特征点，然后考虑基线长度和数据冗余等约束条件来选择关键帧图像。基于能量函数的关键帧选取方法，该类方法考虑特征的分布位置、单应误差等约束条件来设定能量函数，从而实现关键帧选取。基于特征点比率和重投影误差的关键帧选取方法，该类方法主要考虑基线长度约束因子，并用特征点比率来表征基线距离，从而实现关键帧选取。基于鲁棒模型选择准则的关键帧选取方法，该类方法主要通过计算图像的约束关系实现关键帧选取。基于聚类的关键帧选取方法，该类方法首先采用聚类算法将图像分成为不同的类别，然后再分别对每一类进行处理来确定关键帧图像。基于视差的关键帧选取方法，该类方法序列视频的将第一帧图像作为初始关键帧，然后选择稀疏特征点进行跟踪，最后对跟踪成功的特征点进行视差估计，以此作为判断依据进行关键帧选取。

现有关键帧提取算法考虑了匹配点数量、基线长度以及图像重叠度与对极几何关系等约束条件。研究重点都放在怎样重建出视觉上的三维模型，主要在减少重建时间方面进行了有效改善，但并未过多考虑如何进一步提高重建的精度，以方便获取对象的相关信息。图像中除了包含有丰富的视觉信息外，更为重要的还包含了大量的几何信息（如尺寸、面积等）。

发明内容

本发明的目的在于针对现有序列视频三维重建中效率低下和精度不高的不足，提出一种序列视频关键帧提取方法。

序列视频关键帧提取方法包括如下步骤：

（1）捕获序列视频，将序列视频分割成视频帧图像，针对序列视频中的前n帧图像，对其进行特征点提取与匹配，并对特征点进行跟踪；根据基线长度、特征点分布状况等约束条件在序列视频中选择两帧图像作为初始关键帧；

（2）在获得初始关键帧的基础上，根据图像特征点匹配率来确定关键帧候选集合；

（3）根据焦距变化约束及GRIC模型鲁棒选择准则，从关键帧候选集合中进一步确定关键帧图像。

所述的捕获序列视频，将序列视频分割成视频帧，针对序列视频中的前n帧图像，对其进行特征点提取与匹配，并对特征点进行跟踪；根据基线长度、特征点分布状况等约束条件在序列视频中选择两帧图像作为初始关键帧步骤为：

（1）捕获序列视频，将序列视频分割成视频帧；

（2）针对序列视频中的前n帧图像，对其进行特征点提取与匹配，并对特征点进行跟踪，从而得到同一个特征点在多幅视频帧图像上的位置，将这些能稳定跟踪到的特征点称为黄金跟踪特征点；

（3）选择黄金跟踪特征点数量较多并且分布均匀的图像作为当前参考关键帧图像；

（4）计算后续图像与当前参考帧图像的特征点匹配率和焦距变化量，选择特征点匹配率大于给定阈值并且焦距变化最小的图像帧作为下一个关键帧，与当前参考关键帧图像构成一对关键帧图像；若找不到合适的下一个关键帧，则需要调整当前参考关键帧图像，直到找到与之对应的下一个关键帧图像为止。

所述的获得初始关键帧的基础上，根据图像特征点匹配率来确定关键帧候选集合步骤为：

（1）初始关键帧包含两帧图像，分别用k_i和k_j来表示，计算序列视频中后续图像与关键帧k_j的特征点匹配率，直到特征点匹配率小于50%为止；

（2）选择特征点匹配率满足一定条件的图像帧构成集合S；

（3）计算集合S中的图像帧与关键帧k_i的特征点匹配率，选择特征点匹配率大于给定阈值的图像帧构成关键帧候选集合。

所述的根据焦距变化约束及GRIC模型鲁棒选择准则，从关键帧候选集合中进一步确定关键帧图像步骤为：

（1）根据GRIC鲁棒模型选择准则，计算关键帧候选集合中的每一帧图像与其距离最近的一幅关键帧图像间的单应矩阵和基础矩阵两个模型对应GRIC鲁棒模型选择值，即GRIC(H)和GRIC(F)，在此基础上，计算两幅图像间的焦距变化量；

（2）在满足约束条件GRIC(F)<GRIC(H)的图像中选择GRIC(F)取值最小的图像作为关键帧图像。

本发明的序列视频关键帧提取方法是全自动的方法，仅需要用户指定不同判断条件阈值；而且本发明中考虑了初始关键帧对三维重建效果的影响，最终关键帧的选择是在多约束条件下实现的，从而提高了关键帧选取的有效性。采用本发明获取的关键帧图像可用于序列视频的三维重建和量测，也可适用于序列视频数据的压缩等。

附图说明

图1是序列视频关键帧提取方法框架图；

图2是初始关键帧选取示意图；

图3是基线距离与三角测量不确定区域的关系示意图；

图4是关键帧候选集合生成示意图；

图5是关键帧确定示意图；

具体实施方式

以下结合具体实施例，并参照附图，对本发明作进一步详细说明。

视频数据一秒钟大概包含20帧图像以上，考虑序列视频数据包含的信息量丰富，相邻帧图像间重叠度高的特点，本发明提出了一种序列视频的关键帧提取方法。本发明适用于序列视频的三维重建与量测以及序列视频数据压缩等。传统三维重建方法大都将序列视频全部纳入重建处理流程中，通过与传统方法相比，本发明可以提高重建的质量，降低重建的开销。本发明的结构图在图1中显示序列视频关键帧提取方法框架图，包括三部分：（1）序列视频初始关键帧选取；（2）关键帧候选集合生成；（3）基于关键帧候选集合确定最终的关键帧图像。具体实施步骤为：

第一步：序列视频初始关键帧选取。

（1）捕获序列视频，将序列视频分割成视频帧图像，选择前n帧图像作为参考图像，对这n帧图像采用进行特征点提取与匹配，并采用KLT特征跟踪器对特征点进行跟踪，在此基础上，提取图像的黄金跟踪特征点；

（2）选择黄金跟踪特征点数量较多并且分布均匀的图像作为当前参考帧；

（3）计算后续图像与当前参考帧的特征点匹配率和焦距变化量，选择特征点匹配率大于给定阈值并且焦距变化最小的图像帧作为下一个关键帧，与当前参考图像帧构成一对关键帧。若找不到合适的下一个关键帧，则需要适当调整当前参考图像帧，直到找到与之对应的下一个关键帧为止，具体参照附图2。

如附图3所示，根据三角测量原理可知，基线距离越长，三角测量解算精度越高，因此，基线距离对三维重建不确定区域的大小有重要影响。基于序列视频三维重建时，不仅要考虑三角量测的精度，还需考虑基线距离对特征点提取与匹配的影响。基线距离越远，图像的重叠度越低，由此导致匹配越困难。特征匹配率可以用来确定基线长度，其求解公式为：

$R_c=\frac{T_c}{T_f}---\left(1\right)$

其中R_c表示特征点匹配率，T_c表示当前图像中匹配的特征点的数量，T_f表示当前图像中总共的特征点数量。特征点匹配率与摄像机的运动状况呈反比关系，特征点匹配率越大，说明两幅图像的重叠度越高，也就说明摄像机的运动距离较小，两幅图的基线距离较短。

第二步：关键帧候选集合生成。

（1）根据选择的初始关键帧，以此为基础来确定候选关键帧集合。初始关键帧包含两帧图像，分别用k_i和k_j来表示，计算序列视频中后续图像与关键帧k_j的特征点匹配率，直到特征点匹配率小于给定的阈值为止；

（2）选择特征点匹配率满足一定条件的图像帧构成集合S；

（3）计算集合S中的图像帧与关键帧k_i的特征点匹配率，选择特征点匹配率大于给定阈值的图像帧构成关键帧候选集合。

如附图4所示，首先采用初始关键帧选取算法确定第2帧和第5帧图像作为初始关键帧，计算视频序列中后序图像与第5帧图像的特征点匹配率。当计算完第15帧图像与第5帧图像的特征点匹配率后，发现特征点匹配率小于给定的阈值，此时，不再计算第16帧图像与第5帧图像的特征点匹配率。根据计算获得的特征点匹配率，选择满足一定条件图像帧构成集合S，对应于视频序列中的第8帧到第14帧图像。为进一步确定关键帧候选集合，针对集合S中的每一帧图像，计算它与第2帧图像的特征点匹配率。选择特征点匹配率大于给定阈值的图像构成关键帧候选集合，对应于视频序列中的第8帧到第12帧图像。

第三步：基于关键帧候选集合确定最终的关键帧图像。

关键帧候选集合的确定缩小了关键帧的寻找范围。关键帧的选取需要满足两个约束条件，一个是图像间的焦距变化要求较小，另一个是选择的关键帧图像需要保证三维重建的精度和稳定性。

（1）针对关键帧候选集合中的图像，计算其焦距信息；

（2）针对选择的关键帧图像需要保证三维重建的精度与稳定性这一问题，可采用GRIC模型鲁棒选择准则来挑选关键帧图像。基础矩阵F和单应矩阵H两个模型都可以用来描述两幅图间的关系，其中，单应矩阵H更适用于描述短基线情况,当基线距离较长时，基础矩阵F更适合用来描述两幅图像的关系。根据GRIC模型鲁棒选择准则，计算关键帧候选集合中的图像与当前已确定的最后一帧关键帧图像间的GRIC（F）和GRIC（H），其中GRIC(F)为基础矩阵对应的GRIC值，GRIC(H)为单应矩阵对应的GRIC值，；

（3）选择焦距变化较小并且GRIC（F）取值最小的图像作为关键帧图像。

GRIC模型选择准则是模型选择的有效工具，根据计算的模型参数不同，针对基础矩阵和单应矩阵可以得到不同的计算结果。其表达形式为：

$\mathrm{GRIC}=\mathrm{\&Sigma;\&rho;}\left(e_i^2\right)+({\mathrm{\&lambda;}}_1\mathrm{dn}+{\mathrm{\&lambda;}}_{2}k)---\left(2\right)$

其中n表示两幅图像间的匹配点数量，d表示参与计算的模型的维数，估计基础矩阵的模型维数是3，相应的单应矩阵的模型维数是2。k表示模型中参数数量，计算基础矩阵时k=7，计算单应矩阵时k=8。λ₁和λ₂表示两个调节参数，e_i用来表征对应模型的误差，若对应模型为单应矩阵，则e_i表示参考平面上的特征点与其反投影点之间的误差，若对应的模型为基础矩阵，则e_i表示点到对应极线的距离。

是一个与误差e_i相关的函数，其表达形式为：

$\mathrm{\&rho;}\left(e_i^2\right)=\min (\frac{e^2}{{\mathrm{\&sigma;}}^2},{\mathrm{\&lambda;}}_3(r-d))---\left(3\right)$

其中λ₃是权重函数，σ²表示方差，r表示参与计算的数据维数，本发明中主要用来计算两幅图像间的关系，因此r的取值为4。调节参数λ₁和λ₂的取值为：

$\left\{\begin{array}{c}{\mathrm{\&lambda;}}_1=\ln \left(r\right)\\ {\mathrm{\&lambda;}}_2=\ln \left(\mathrm{rn}\right)\end{array}\right.---\left(4\right)$

如附图5所示：根据关键帧候选集合生成算法，从图中来看，关键帧候选集合中包含第31帧图像到第36帧6幅图像，已确定的关键帧图像为第2帧、第5帧、第16帧以及第25帧四幅图像。计算关键帧候选集合中每帧图像的焦距信息，判断它们与第25帧图像的焦距变化量。根据GRIC模型选择标准计算它们与25帧图像间的GRIC(F)和GRIC(H)的值，选择满足条件的图像帧为关键帧图像，对应图中的第34帧图像。

Claims (4)

1.序列视频关键帧提取方法，其特征在于包括如下步骤：

步骤一，捕获序列视频，将序列视频分割成视频帧，针对序列视频中的前n帧图像，对其进行特征点提取与匹配，并对特征点进行跟踪；根据基线长度和特征点分布状况的约束条件在序列视频中选择两帧图像作为初始关键帧；

步骤二，在获得初始关键帧的基础上，根据图像特征点匹配率来确定关键帧候选集合；

步骤三，根据焦距变化约束及GRIC模型鲁棒选择准则，从关键帧候选集合中进一步确定关键帧图像。

2.根据权利要求1所述的序列视频关键帧提取方法，其特征在于，所述步骤一的具体过程为：

（1）捕获序列视频，将序列视频分割成视频帧；

（2）针对序列视频中的前n帧图像，对其进行特征点提取与匹配，并对特征点进行跟踪，从而得到同一个特征点在多幅视频帧图像上的位置，将这些能稳定跟踪到的特征点称为黄金跟踪特征点；

（3）选择黄金跟踪特征点数量较多并且分布均匀的图像作为当前参考关键帧图像；

（4）计算后续图像与当前参考帧图像的特征点匹配率和焦距变化量，选择特征点匹配率大于给定阈值并且焦距变化最小的图像帧作为下一个关键帧，与当前参考关键帧图像构成一对关键帧图像；若找不到合适的下一个关键帧，则需要调整当前参考关键帧图像，直到找到与之对应的下一个关键帧图像为止。

3.根据权利要求1所述的序列视频关键帧提取方法，其特征在于，所述步骤二的具体过程为：

（1）初始关键帧包含两帧图像，分别用k_i和k_j来表示，计算序列视频中后续图像与关键帧k_j的特征点匹配率，直到特征点匹配率小于50%为止；

（2）选择特征点匹配率满足一定条件的图像帧构成集合S；

（3）计算集合S中的图像帧与关键帧k_i的特征点匹配率，选择特征点匹配率大于给定阈值的图像帧构成关键帧候选集合。

4.根据权利要求1所述的序列视频关键帧提取方法，其特征在于，所述步骤三的具体过程为：

（1）根据GRIC鲁棒模型选择准则，计算关键帧候选集合中的每一帧图像与其距离最近的一幅关键帧图像间的单应矩阵和基础矩阵两个模型对应GRIC鲁棒模型选择值，即GRIC(H)和GRIC(F)，在此基础上，计算两幅图像间的焦距变化量；

（2）在满足约束条件GRIC(F)<GRIC(H)的图像中选择GRIC(F)取值最小的图像作为关键帧图像。

Images