CN112149495B - 一种基于视差追踪的视频关键帧提取方法 - Google Patents

Abstract

本发明公开了一种基于视差分析的视频关键帧提取方法：聚焦管道、巷道等地下狭长密闭空间的单目视频三维重构需求，针对传统手动提取视频帧效率低、自动提取精度差的问题，设计一种基于视差追踪的视频关键帧提取方法。该方法采用由粗到精的关键帧提取策略。粗提取阶段以Tenengrad评价函数为基础，对视频帧进行模糊度评价，剔除严重模糊影像，引入自适应的取帧参数，避免提取模糊的冗余视频帧影像，提升粗提取的合理性；精提取阶段采用网格运动统计策略的特征匹配算法，实现实时的大量特征点高精度匹配，通过视差分析获取相机运动信息对视频帧进行分类，剔除静止、旋转等冗余帧，最后得到空间位置合理的适用于管道内壁三维重构需求的关键帧影像集。

Description

一种基于视差追踪的视频关键帧提取方法

技术领域

本发明涉及空间信息应用技术领域，具体涉及一种基于视差追踪的视频关键帧提取方法。

背景技术

城市地下管道是城市供水和排污的重要基础设施，关系到城市的可持续发展和人们的日常生活。基于运动恢复结构(Structure from Motion，SfM)的管道、巷道等狭长密闭空间三维重构能够同时获取三维几何结构和彩色纹理信息，可为及时准确的掌握地下重要基础设施质量、全面厘清其运行状态提供准确的数字模型。视频关键帧优选是决定视频三维重构模型精度和完整性的首要关键技术，是一个兼顾邻接图像拓扑几何关系以及图像质量等多个因素的复杂决策过程，一直是视觉匹配和三维重建研究的重点和难点。现有关于视频关键帧优选的研究可大致分为三类：即影像采集线路规划法、基于先验数据集的模拟与预测法和邻接影像拓扑几何要素分析法。

第一类方法最早采用“三步走”策略，即通过获取新影像、测试模型精度、调整相机位置和姿态的策略优化影像采集方案，经典的算法有VIO。随后，在获取少量有效影像的基础上，逐渐增加新的影像来增强测区重建点云的完整性和精度，典型的有模糊逻辑推理法，该类方法可靠性高但优化模型的构建存在困难，普适性差。而由于标注了大量先验信息的数据集的公开，借助机器学习的预测方法逐步用在关键视频帧的优选研究。Rongjun和Qin以双目立体影像重构的精度作为预测模型的损失函数，采用SVM分类器实现了卫星立体影像的优选。该类研究剔除了像平面交会角较小的影像对，且没有考虑基高比变化的情况，不适用于管道、巷道等地下狭长密闭空间的视频帧之间像平面交会角小、基高比变化明显的情况。在第三类研究中，通过分析邻接影像间的多个几何要素关系，设置合理的约束条件，构建影像重要性判断模型，在一系列冗余的影像序列中优选出部分最能保障三维重建精度的最小关键影像集。典型的模型有最小相机邻接矩阵、拓扑邻接矩阵、稀疏拓扑邻接矩阵，该类方法对于场景的应用类型具有较强的依赖性，随着场景、影像类型、观测模式等发生变化，场景迁移能力较弱。

近年来，李立春等人在每张影像上提取固定数量的特征点加以跟踪，通过计算特征点在相邻视频帧间的平均视差来表示相机的运动量，从而提取出距离合适的关键帧，提升了影像处理的实时性，对无人机视频、室内外录像等特征丰富的影像具有较高的适用性。但是该方法无法有效区分镜头的复杂运动姿态，不能剔除冗余帧。此外，管道、巷道等地下狭长密闭空间的视频帧之间像平面交会角小，纹理性较弱且重复性高，特征分布不均匀，对影像优选的模型预测提出了新的挑战。

本发明针对地下狭长密闭空间三维重建对视频关键帧提取的需求及难点，设计了一种基于视差追踪的视频关键帧提取方法。本发明采用由粗到精的视频帧提取策略。在粗提取阶段，对视频帧进行模糊度评价，剔除严重模糊影像，引入基于模糊度的自适应提帧参数，提高影像分析效率；在精提取阶段，在传统邻域一致性分析的基础上，通过格网划分，将对点分析改为对区域分析，实现实时的大量特征点匹配，有效提升影像特征匹配和视差获取的精度。通过分析视差获取相机运动信息对视频帧进行分类，剔除静止、旋转等冗余帧，最后得到空间位置合理的三维模型重建时需要的关键帧。该专利可满足地下狭长密闭空间三维重建时对于视频关键帧自动、高精度提取的需求。

发明内容

(一)解决的技术问题

本发明所要解决的技术问题是：针对管道、巷道等地下狭长密闭空间的视频关键帧手动提取过于费时费力，自动提取精度较差的问题，设计一种基于视差追踪的视频关键帧提取方法。该方法采用由粗到精的关键帧提取策略。粗提取阶段以Tenengrad评价函数为基础，对视频帧进行模糊度评价，剔除严重模糊影像，引入自适应的提帧参数，避免提取模糊的冗余视频帧影像；精提取阶段采用网格运动统计策略的特征匹配算法，实现实时的大量特征点高精度匹配，通过分析视差获取相机运动信息对视频帧进行分类，剔除静止、旋转等冗余帧，最后得到空间位置合理的三维模型重建时需要的关键帧。

(二)技术方案

1.基于影像模糊度评价的关键帧粗提取

由于管道内部地形复杂、光线昏暗等不利因素，导致通过机器人上搭载的小型摄像机获得的地下狭长密闭空间视频帧质量参差不齐，存在大量轻微模糊视频帧和部分严重模糊视频帧，会导致后续视频帧影像匹配出现较大的偏差。此外，相邻视频帧间重叠度过大，对全部视频帧进行匹配则耗时多，效率低。针对以上问题，本专利提出基于影像模糊度评价的关键帧粗提取框架。具体地，以Tenengrad评价函数为基础，对视频帧进行模糊度评价，剔除严重模糊影像，引入自适应的提帧参数，保证视频关键帧粗提取的合理性。具体实现步骤如下：

1)模糊度评价和计算自适应提帧参数。使用Tenengrad评价函数对视频帧进行影像模糊度评价，计算出整体平均模糊度V_s，由V_s的大小确定候选帧集的截取频率f_s，f_s表示每秒截取的视频帧数量。本发明中，V_s值越大，则截取候选视频帧的频率f_s越小。

2)剔除严重模糊视频帧。在候选帧集中，通过测定各视频帧影像与V_s所对应的相对模糊度来区分影像模糊等级，删除因模糊程度较高导致去模糊效果较差的影像，标记轻微模糊影像，后续进行去模糊优化处理，提高影像整体质量。

2.基于影像视差分析的关键帧精提取

基于影像模糊度评价的粗提取主要考虑提取视频帧影像的质量，而没有考虑提取视频帧对立体匹配和三维重建精度的几何需求。然而，管道、巷道等地下狭长密闭空间视域狭窄、内部环境复杂导致视频机器人运动速度不一，为探清管道内壁的成像情况，需对摄像头进行抬升、旋转，导致大量邻接视频帧间存在基线过短(如静止)、像平面交会角过大(如抬升、旋转)等现象，这类视频帧会因匹配特征的重投影误差过大导致三维重建失败，需进行精确剔除。针对以上问题，本专利提出了基于视差分析的关键帧精提取框架，首先采用网格运动统计策略的特征匹配算法，实现实时的大量特征点高精度匹配，通过分析视差获取相机运动信息对视频帧进行分类，剔除静止、旋转等冗余帧，最后得到空间位置合理的三维模型重建时需要的关键帧。具体方法如下：

1)采用网格运动统计策略的特征匹配算法(GMS)，在传统邻域一致性分析的基础上，通过格网划分，将对点分析改为对区域分析，实现实时的大量特征点高精度匹配。

2)计算相邻视频帧间的视差长度L来近似的表示相机运动量，设置视差阈值L_min来限制相邻关键帧基线过短的情况，剔除机器人停止运动时相机拍摄的静止帧。

3)设计镜头运动模型，计算影像在水平和垂直方向上的平均位移X_m和Y_m，分析视差矢量，定位镜头持续抬升和旋转的视频帧位置，从而获取镜头抬升和下降之间的旋转帧的位置，一并剔除。

4)采用维纳滤波法对将失焦的轻微模糊影像进行去模糊优化处理，最终获得视频关键帧集合。

(三)有益效果

1、利用本发明，能够实现地下狭长密闭空间视频关键帧的高效自动提取。

2、利用本发明，能够为地下管道三维模型重建提供高质量的关键帧数据。

附图说明

图1基于视差追踪的视频关键帧提取方法程图。

图2基于网格划分的邻域一致性分析示意图。

图3去静止冗余帧算法示意图。

图4镜头复杂运动模型示意图。

图5复杂冗余帧定位算法示意图。

具体实施方式

1.基于影像模糊度评价的关键帧粗提取

关键帧粗提取阶段，使用Tenengrad评价函数对视频帧进行模糊度评价，获取初始帧集的截取频率，并剔除严重模糊影像，具体实施方式如下：

步骤1：本发明采用的模糊度评价方式为基于梯度的Tenengrad评价函数。首先，函数采用Sobel算子提取出垂直和水平方向的梯度值，计算出图像在点(x,y)的梯度S(x,y)，如式(1)。

其中，G_x、G_y表示Sobel算子横向和纵向的卷积核，I_(x,y)表示以点(x,y)为中心的3*3 像元灰度值矩阵。计算经卷积处理后的影像的平均灰度值，记为T_en，如式(2)。T_en值越大，代表图像越清晰。

通过对全体视频帧进行抽样模糊度评价，计算出整体平均模糊度V_s，V_s的大小反应视频帧的整体清晰度质量，视频帧越清晰，三维模型重建所限制的相邻视频帧最大基线长度越长，所需要的视频帧数量越少。根据V_s的大小确定粗提取的视频帧截取频率f_s，f_s表示每秒截取的视频帧数量，V_s越大f_s越小。以f_s作为截取频率对原始视频进行粗提取，更为合理地剔除大部分由视频自身频率过高所造成的重复影像。

步骤2：根据视频整体平均模糊度V_s的大小设定影像模糊度分级阈值V_min和V_mid(V_min<V_mid<V_s)，其中模糊度低于V_min的被视为严重模糊影像，因去模糊处理对其效果不佳而直接删除，V_min至V_mid的部分后续通过去模糊处理进行优化。

至此，完成基于影像模糊度评价的关键帧粗提取工作，其中在等间距取帧的基础上引入与影像模糊度相关的自适应取帧参数，提高粗提取时候选帧集的合理性，严重模糊帧的剔除提升了影像整体质量。

2.基于影像视差分析的关键帧精提取

本发明采用影像视差分析策略来完成关键帧的精提取工作。基于影像模糊度评价的粗提取只能获取剔除模糊影像和重复影像的初始候选帧集。为了确保视频帧匹配及三维重建的可靠性，需提取几何结构和位姿关系合理的视频帧。具体地，首先采用网格运动统计策略的特征匹配算法，实现实时的大量特征点高精度匹配，通过分析视差获取相机运动信息对视频帧进行分类，剔除静止、旋转等冗余帧，最后得到空间位置合理的三维模型重建时需要的关键帧。具体方法如下：

步骤1：点特征提取与匹配。如图2所示，在传统邻域一致性分析的基础上，通过格网划分，将对点分析改为对区域分析，实现实时的大量特征点匹配。针对特征匹配，本发明采用由粗到精的匹配策略。

粗匹配阶段，采用ORB快速特征点提取算法对每张影像提取大量特征点，然后通过Brute-Force匹配算法进行匹配，获取足够多的点匹配信息服务于后续的邻域一致性分析工作当中，增强匹配精确度。

精匹配基于运动平滑性原理，即真匹配具有一定邻域支持度，通过对视频帧进行规则格网划分，构建特征与邻域空间特征邻接关系，统计邻域特征数量与梯度方向等信息，从而构建图像邻域一致性约束，剔除错匹配。

步骤2：去静止冗余帧。首先以候选帧集的第一帧影像P作为已知关键帧T_a，将下一帧设为侯选关键帧T_b，计算两帧之间的平均视差L，详见式(3)。

其中，n为点特征匹配数，(x_ai,y_ai)、(x_bi,y_bi)分别为T_a和T_b对应的特征点坐标。

设置视差阈值L_min限制相邻关键帧基线过短的情况，比较L与L_min的大小，若L＞L_min，则认定T_b为关键帧，将其设为新的已知关键帧T_a，然后进行下一轮的视差分析；若L＜L_min，则剔除该候选帧，将下一帧设为新的T_b，继续视差比较，直到满足条件的关键帧出现。详细算法如图3所示。

步骤3：去旋转、抬升和下降冗余帧。分析镜头抬升和旋转时的匹配结果，表明可以通过影像在水平和垂直方向上的平均位移X_m和Y_m来区分镜头的真实运动状态。镜头抬升时，X_m近乎为零，而Y_m较大，下降时同理；旋转时，影像左右两侧的特征点运动趋势呈对称现象，通过图像分区分析能判断出旋转视频帧。

通过分析镜头在整个地下管道中的行进状态可知，虽然旋转部分难以单独判断，但旋转前后的镜头持续抬升和下降部分较为稳定，可通过确定这两部分的视频帧位置来间接判断旋转部分的冗余帧，将抬升和下降之间的所有视频帧同一剔除即可，模型如图4所示。

为排除镜头前进过程中零散抬升和下降帧的干扰，将判定条件设为连续m帧以上满足镜头抬升和下降；为排除旋转部分中穿插的少量持续抬升和下降帧，需要对抬升帧之前和下降帧之后的k帧进行约束，增强算法鲁棒性。其中，m和k为常数，一般都取5。详细算法如图 5。

步骤4：失焦影像去模糊优化。本专利采用维纳滤波法对失焦影像进行去模糊处理，首先定义一个系统，如式(6)所示：

y(t)＝h(t)*x(t)+n(t) (6)

其中，y(t)是最终的成像结果，即我们得到的初始照片，h(t)是相机线性不变的脉冲响应系统，x(t)是指在t时刻的信号输入，n(t)指加性噪声，与输入信号无关。目标是计算出卷积函数g(t)，如式(7)所示，使得是x(t)的最小均方差估计。

至此，完成基于视差分析的关键帧精提取工作，获得最终的视频关键帧集合。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于视差追踪的视频关键帧提取方法，其特征在于，该方法包括：

1)基于影像模糊度评价的关键帧粗提取；

2)基于影像视差分析的关键帧精提取；

其中，所述的基于影像模糊度评价的关键帧粗提取包含以下几个步骤：

1.1)采用的模糊度评价方式为基于梯度的Tenengrad评价函数：首先，函数采用Sobel算子提取出垂直和水平方向的梯度值，利用式(1)计算出图像在点(x,y)的梯度S(x,y)；

其中，G_x、G_y表示Sobel算子横向和纵向的卷积核，I_(x,y)表示以点(x,y)为中心的3*3像元灰度值矩阵；计算经卷积处理后的影像的平均灰度值，记为T_en，如式(2)；T_en值越大，代表图像越清晰；

通过对全体视频帧进行抽样模糊度评价，计算出整体平均模糊度V_s，V_s的大小反应视频帧的整体清晰度质量，视频帧越清晰，三维模型重建所限制的相邻视频帧最大基线长度越长，所需要的视频帧数量越少；根据V_s的大小确定粗提取的视频帧截取频率f_s，f_s表示每秒截取的视频帧数量，V_s越大f_s越小；以f_s作为截取频率对原始视频进行粗提取，更为合理地剔除由视频自身频率过高所造成的重复影像；

1.2)根据视频平均模糊度V_s的大小设定影像模糊度分级阈值V_min和V_mid，V_min<V_mid<V_s，其中模糊度低于V_min的被视为严重模糊影像，因去模糊处理对其效果不佳而直接删除，V_min至V_mid的部分后续通过去模糊处理进行优化；

其中，基于影像视差分析的关键帧精提取，包含以下几个步骤：

2.1)点特征提取与匹配：在邻域一致性分析的基础上，通过格网划分，将对点分析改为对区域分析，实现实时的特征点高精度匹配；针对特征匹配，采用由粗到精的匹配策略；

粗匹配阶段，采用ORB快速特征点提取算法对每张影像提取特征点，然后通过Brute-Force匹配算法进行匹配，获取点匹配信息服务于后续的邻域一致性分析工作当中；

精匹配基于运动平滑性原理，即真匹配具有邻域支持度，通过对视频帧进行规则格网划分，构建特征与邻域空间特征邻接关系，统计邻域特征数量与梯度方向信息，从而构建图像邻域一致性约束，剔除错匹配；

2.2)去静止冗余帧：首先以候选帧集的第一帧影像P作为已知关键帧T_a，将下一帧设为侯选关键帧T_b，利用式(3)计算两帧之间的平均视差L；

其中，n为点特征匹配数，(x_ai,y_ai)、(x_bi,y_bi)分别为T_a和T_b对应的特征点坐标；

设置视差阈值L_min限制相邻关键帧基线过短的情况，比较L与L_min的大小，若L＞L_min，则认定T_b为关键帧，将其设为新的已知关键帧T_a，然后进行下一轮的视差分析；若L＜L_min，则剔除该候选帧，将下一帧设为新的T_b，继续视差比较，直到满足条件的关键帧出现；

2.3)去旋转、抬升和下降冗余帧：分析镜头抬升和旋转时的匹配结果，表明可以通过影像在水平和垂直方向上的平均位移X_m和Y_m来区分镜头的真实运动状态；镜头抬升或下降时，Y_m＞X_m，X_m≈0；旋转时，影像左右两侧的特征点运动趋势呈对称现象，通过图像分区分析能判断出旋转视频帧；

通过分析镜头在整个地下管道中的行进状态可知，虽然旋转部分难以单独判断，但旋转前后的镜头持续抬升和下降部分较为稳定，可通过确定这两部分的视频帧位置来间接判断旋转部分的冗余帧，将抬升和下降之间的所有视频帧同一剔除即可；

为排除镜头前进过程中零散抬升和下降帧的干扰，将判定条件设为连续m帧以上满足镜头抬升和下降；为排除旋转部分中穿插的持续抬升和下降帧，需要对抬升帧之前和下降帧之后的k帧进行约束，其中，m和k为常数，取值为5；

2.4)失焦影像去模糊优化：采用维纳滤波法对失焦影像进行去模糊处理，首先定义一个系统，如式(6)所示：

y(t)＝h(t)*x(t)+n(t) (6)

其中，y(t)是最终的成像结果，即初始照片，h(t)是相机线性不变的脉冲响应系统，x(t)是指在t时刻的信号输入，n(t)指加性噪声，与输入信号无关；目标是计算出卷积函数g(t)，如式(7)所示，使得是x(t)的最小均方差估计，