CN106534833B - 一种联合空间时间轴的双视点立体视频稳定方法 - Google Patents

Abstract

本发明公开了一种联合空间时间轴的双视点立体视频稳定方法，首先分别对输入的左右视频做时间轴维度的视频稳定，利用特征点匹配估计出视频的帧间运动轨迹，通过卡尔曼滤波和低通滤波平滑运动轨迹并填补视频中丢失像素。然后对左右视进行空间轴维度的视频稳定，计算稳定后的左右视频中匹配特征点的垂直视差，根据该视差进行实时校正，减少左右视频之间的垂直视差。最后分别对左右视频进行稳定调整，进一步提高视频的稳定性。本发明是一种视频稳定性能好、鲁棒性高的视频稳定方法，能够对由相机抖动、相机内部感光元件的不一致性以及当前工艺的不精确所导致的左右视点间的垂直视差进行修正，可提高观看3D视频的舒适度。

Description

一种联合空间时间轴的双视点立体视频稳定方法

技术领域

本发明涉及一种视频稳定方法，尤其涉及一种联合空间时间轴的双视点立体视频稳定方法，属于电子稳像技术领域。

背景技术

随着图像传感器技术和移动计算能力的发展，视频采集逐渐转向手持设备，更多的摄影爱好者可以拍摄个人视频，但是相机抖动严重影响大多数拍摄的视频，视频的质量和视觉舒适度受到了严重的影响。利用机械原理的硬件方法，比如将相机固定在云台，可以减少视频抖动，但这种方法的缺点是成本昂贵和拍摄不便利。另一方面，采用视频稳定技术的软件方法具有成本低、稳定效果好的优势。近年，视频稳定技术在提高视频质量、基于运动平台的视频监控、车载移动视频稳像和机器人导航等方面得到了广泛的应用。

视频稳定技术是指：去除非刻意的相机抖动和修正视频序列的过程。其问题关键分为运动估计和运动补偿两个部分。相机的运动估计的主要目的是通过相邻帧之间的特征估计帧间运动参数。运动补偿则是判断视频全局运动是不是刻意的相机运动，并对不需要的视频抖动进行校正。

Chen Y H,Lin H Y S,Su C W.Full-Frame Video Stabilization via SIFTFeature Matching[C]//Tenth International Conference on IntelligentInformation Hiding and Multimedia Signal Processing.IEEE,2014.公开了一种基于SIFT(Scale-invariant feature transform)特征点匹配的全帧视频稳定算法，该方法通过相邻帧的特征点匹配定义了两维空间的仿射变换，然后对视频的每帧应用时域滤波来去除抖动成分。He M,Huang C,Xiao C,et al.Digital video stabilization based onhybrid filtering[C]//International Congress on Image and SignalProcessing.IEEE,2014:94-98.公开了一种视频稳定方法，该方法通过卡尔曼滤波和低通滤波对视频进行运动补偿。Yu H,Zhang W.Moving camera video stabilization basedon Kalman filter and least squares fitting[C]//Intelligent Control andAutomation.IEEE,2015.公开了一种基于最小二乘拟合的视频稳定技术，该方法和卡尔曼滤波进行了比较，并得出结论：二次拟合比卡尔曼滤波性能好，但卡尔曼滤波更适合实时处理。这三种算法都属于2D视频的稳定技术，通过相邻帧之间的匹配特征点跟踪视频的运动轨迹，然后采用滤波的方法去除非刻意的相机抖动。

2D视频稳定技术已经趋向成熟，更多的研究热点和难点集中在3D视频稳定研究。Goldstein A,Fattal R.Video stabilization using epipolar geometry[J].AcmTransactions on Graphics,2012,32(5):573-587.公开了一种3D视频稳定算法。首先，该算法提取特征点来建立稳定的相机运动，然后采用极点转移技术和基于图像的帧映射将视频投射到稳定框架中。这种方法对退化的相机运动具有鲁棒性，但不能处理剧烈的相机抖动。Liu F,Niu Y,Jin H.Joint Subspace Stabilization for Stereoscopic Video[C]//Computer Vision(ICCV),2013 IEEE International Conference on.IEEE,2013:73-80.公开了一种局部的3D视频稳定算法，该方法联合左右视点构建一个子区域，并在子区域内进行视频稳定，但这种方法很难处理剧烈抖动和高运动模糊。

发明内容

本发明的目的在于克服现有技术的不足，提供一种联合空间时间轴的双视点立体视频稳定方法，稳定性能更好、鲁棒性更高，将两维视频稳定算法应用在双视点立体视频中，实时减少了左右视之间的垂直视差，降低了由于垂直视差过大、视频不稳定导致的3D视频观赏的不舒适。

为达到上述目的，本发明采用如下技术方案：

一种联合空间时间轴的双视点立体视频稳定方法，包括以下步骤：

步骤1：对双视点视频分别进行时间轴维度的视频稳定：首先分别对左右视的连续视频帧提取特征点，剔除错误匹配的特征点，得到准确的特征点匹配，再根据准确的特征点匹配估计视频的帧间运动轨迹；然后利用滤波的方法去除视频中的高频部分，平滑输入视频的帧间运动轨迹并填补视频中丢失像素，保持输入视频的分辨率；

步骤2：对双视点视频进行空间轴维度的视频稳定：对经过步骤1处理后的左右视频进行空间轴维度的视频稳定，减少左右视频之间的垂直视差，提高3D视频的观看舒适度；首先对同一时刻的左右视频帧提取特征点，剔除不准确特征点匹配，得到左右视的准确特征点匹配；然后分别计算准确的匹配特征点在垂直方向上的视差，采用统计特征点垂直视差直方图的方法作为校正指标；最后根据得到的左右视频间的垂直视差进行实时校正，减少左右视频之间的垂直视差；

步骤3：视频稳定调整：对步骤2得到的视频使用光流法寻找前后相邻帧之间的变换T_{original_transformation}，并且该变换只包含三个参数：水平平移d_x、垂直平移d_y、旋转角度d_α；

累计d_x、d_y、d_α得到视频帧之间的运动轨迹∑d_x、∑d_y、∑d_α；采用窗口方法平滑视频帧之间的运动轨迹并且得到参数d_{x_avg}、d_{y_avg}、d_{α_avg}；结合上述参数得到新的变换，新变换参数d_{x_new}、d_{y_new}、d_{α_new}为：

d_{x_new}＝d_x+(d_{x_avg}-∑d_x)

d_{y_new}＝d_y+(d_{y_avg}-∑d_y)

d_{α_new}＝d_α+(d_{α_avg}-∑d_α)

最终得到新变换矩阵T_{new_transformation}；具体变换公式为：

将T_{new_transformation}作用在步骤2输出视频上得到最后视频稳定结果。

所述步骤1的具体步骤为：

步骤1.1，准确的特征点的提取、匹配和筛选：对单个视频的相邻帧分别提取特征点，为了提高特征点匹配的准确性，首先采用特征点之间欧式距离比率检测的方法，验证特征点匹配的准确性：

其中d₁是第i帧图像的特征点p和距离它最近的第i-1帧图像中特征点q之间的距离，d₂是第i帧图像的特征点p和距离它次近的第i-1帧图像中特征点q′之间的距离；当d₁和d₂的比值大于预先设定的阈值时，则认为该匹配不准确，剔除该特征点匹配，否则保留该准确匹配；其次，采用双向验证的方法进一步验证匹配，即查询图像的特征描述子索引和模板图像的特征描述子索引互相匹配；最后通过RANSAC(Random Sample Consensus，随机采样一致性)剔除不准确的匹配，采用RANSAC算法滤除错误匹配，寻找一个最优单应性矩阵H，使得满足该矩阵的数据点数量最多，即内点数量最多；经过特征点筛选步骤后，得到准确的特征点匹配；

步骤1.2，相机运动估计：根据步骤1.1中的特征点匹配，相机运动由透视变换的单应性变换描述；为了平滑相机的运动轨迹，参考了与当前帧相邻的2n帧；设定第i帧和第j帧之间的变换为当前帧的编号为t，与它相邻帧的编号设为{w|t-n≤w≤t+n}，得到最后的单应性变换T_final：

其中G(u,σ)是均值为零、方差为的高斯分布；

步骤1.3，相机运动补偿：在透射变换之后，采用卡尔曼滤波进一步去除抖动，视频的第一帧被认为是稳定的，将第一帧作为参考帧来稳定下一帧，然后将第二帧作为参考帧来稳定第三帧，重复操作直到最后一帧稳定；使用卡尔曼滤波通常基于抖动视频中含有白噪声，但这种假设有时和现实情况不符，由于视频中的抖动部分在频域中往往是高频部分，本方法结合了卡尔曼滤波和低通滤波，低通滤波能够有效地去除视频抖动；

步骤1.4，像素填补：视频经过步骤1.3处理之后会出现像素丢失，所以需要对丢失像素进行填补，从而保护视频的分辨率；采用下式所示的平均填补：

其中，I_t(m,n)是当前帧t丢失像素的像素值，I′_i(m,n)是丢失像素在相邻帧对应位置像素的值。

所述步骤2的具体步骤为：

步骤2.1，左右视点的特征点匹配：对稳定后的左右视提取特征点，为了提高特征点匹配的准确性，首先通过特征点之间距离比较的方法，验证特征点匹配的准确性，然后，采用双向验证的方法进一步验证匹配，最后采用RANSAC剔除不准确的匹配，经过特征点筛选步骤后，得到左右视频间准确的特征点匹配；

步骤2.2，特征点垂直视差直方图统计：分别计算准确的匹配特征点在垂直方向上的视差，采用特征点平均垂直视差、统计特征点垂直视差直方图、优先选取靠近零平面的特征点的方法，将统计的结果作为垂直视差校正的指标；

步骤2.3，垂直视差校正：根据步骤2.2中得到左右视频间的垂直视差进行实时校正，减少左右视频之间的垂直视差，提高3D视频的观看舒适度。

与现有技术相比，本发明具有如下突出的实质性特点和显著的优点：

本发明是一种视频稳定性能好、鲁棒性高的视频稳定方法，能够对由相机抖动、相机内部感光元件的不一致性以及当前工艺的不精确所导致的左右视点间的垂直视差进行修正，可提高观看3D视频的舒适度。

附图说明

图1为本发明的流程图；

图2(a)和(b)为原始特征点前向和后向匹配图；

图3为筛选后的特征点匹配图；

图4(a)和(b)为垂直视差主观实验图；

图5(a)和(b)为输入视频及其光流图；

图6为输入视频的帧间水平和垂直视差；

图7为输入视频的水平方向上运动轨迹和平滑后的运动轨迹；

图8为输入视频的垂直方向上运动轨迹和平滑后的运动轨迹；

图9为输出视频的帧间水平和垂直视差；

图10(a)、(b)和(c)为输入视频帧、垂直视差处理后的视频帧和输出视频帧。

具体实施方式

以下结合附图对本发明的实施例作详细说明。

如图1所示，一种联合空间时间轴的双视点立体视频稳定方法，包括以下步骤：

步骤1：对双视点视频分别进行时间轴维度的视频稳定：首先分别对左右视的连续视频帧提取特征点，剔除错误匹配的特征点，得到准确的特征点匹配，再根据准确的特征点匹配估计视频的帧间运动轨迹；然后利用滤波的方法去除视频中的高频部分，平滑输入视频的帧间运动轨迹并填补视频中丢失像素，保持输入视频的分辨率。

步骤1.1，准确的特征点的提取、匹配和筛选：对单个视频的相邻帧分别提取特征点，本实施例并不局限特征点的提取和匹配算法，可选用尺度不变的特征点提取和匹配算法，如SIFT、SURF、ORB等特征点提取算法，在本实施例中使用SURF特征点提取算法。进一步，为了提高特征点匹配的准确性，首先采用特征点之间欧式距离比率判决的方法，验证特征点匹配的准确性。

其中d₁是第i帧图像的特征点p和距离它最近的第i-1帧图像中特征点q之间的距离，d₂是第i帧图像的特征点p和距离它次近的第i-1帧图像中特征点q′之间的距离。当d₁和d₂的比值大于预先设定的阈值时，则认为该匹配不准确，剔除该特征点匹配，否则保留该准确匹配。其次，本实施例采用双向验证的方法进一步验证匹配，即查询图像的特征描述子索引和训练(模板)图像的特征描述子索引互相匹配。最后RANSAC剔除不准确的匹配，随机采样一致性算法可以在一组包含“外点”的数据集中，采用不断迭代的方法寻找最优参数模型，不符合最优模型的点被定义为“外点”。采用RANSAC算法滤除错误匹配寻找一个最优单应性矩阵H，使得满足该矩阵的数据点数量最多，即内点数量最多。经过特征点筛选步骤后，得到准确的特征点匹配。

步骤1.2，相机运动估计：根据步骤1.1中的特征点匹配，相机运动可以由透视变换的单应性变换描述。为了平滑相机的运动轨迹，本实施例参考了与当前帧相邻的五帧。设定第i帧和第j帧之间的变换为T_i ^j，当前帧的编号为t，与它相邻帧的编号设为{w|t-5≤w≤t+5}。得到最后的单应性变换T_final。

其中G(u,σ)是均值为零、方差为的高斯分布。

步骤1.3，相机运动补偿：在透射变换之后，本实施例采用卡尔曼滤波进一步去除抖动。在本实施例中，视频的第一帧被认为是稳定的，将第一帧作为参考帧来稳定下一帧，然后将第二帧作为参考帧来稳定第三帧，重复操作直到最后一帧稳定。使用卡尔曼滤波通常基于抖动视频中含有白噪声，但这种假设可能和现实情况不符，由于视频中的抖动部分在频域中往往是高频部分，本实施例结合了卡尔曼滤波和低通滤波，低通滤波可以有效地去除视频抖动。

步骤1.4，像素填补：视频经过步骤1.3处理之后会出现像素丢失，所以需要对丢失像素进行填补，从而保护视频的分辨率。本实施例中采用如(4)式所示的平均填补。

其中，I_t(m,n)是当前帧t丢失像素的像素值，I′_i(m,n)是丢失像素在相邻帧对应位置的像素的值。

至此，本实施例完成了时间轴的视频稳定过程。

步骤2：对左右视进行空间轴维度的视频稳定。对经过步骤1处理后的左右视频进行空间轴维度的视频稳定，减少左右视频之间的垂直视差，提高3D视频的观看舒适度。首先对同一时刻的左右视频帧提取特征点，剔除不准确特征点匹配，得到左右视的准确特征点匹配。然后分别计算准确的匹配特征点在垂直方向上的视差，采用统计特征点垂直视差直方图的方法作为校正指标。最后根据得到的左右视频间的垂直视差进行实时校正，减少左右视频之间的垂直视差。

步骤2.1，左右视点的特征点匹上配：对稳定后的左右视频的特征点提取，本实施例并不局限特征点的提取和匹配算法，可选用尺度不变的特征点提取和匹配算法，如SIFT、SURF、ORB等。为了提高特征点匹配的准确性，首先通过特征点之间距离比较的方法，验证特征点匹配的准确性。然后，采用双向验证的方法进一步验证匹配。最后采用RANSAC剔除不准确的匹配，经过特征点筛选步骤后，得到左右视频间准确的特征点匹配。

步骤2.2，特征点垂直视差直方图统计：分别计算准确的匹配特征点在垂直方向上的视差，可以采用特征点平均垂直视差、统计特征点垂直视差直方图、优先选取靠近零平面的特征点等方法作为校正指标，本实施例中采用的是统计特征点垂直视差直方图的方法。

步骤2.3，垂直视差校正：根据步骤2.2中得到左右视频间的垂直视差进行实时校正，减少左右视频之间的垂直视差。

至此，本实施例完成了空间轴的视频稳定过程。

步骤3，视频稳定调整：对步骤2得到的视频使用光流法寻找前后相邻帧之间的变换T_{original_transformation}，并且该变换只包含三个参数：水平平移d_x、垂直平移d_y、旋转角度d_α。

累计d_x、d_y、d_α得到视频帧之间的运动轨迹∑d_x、∑d_y、∑d_α。采用窗口方法平滑视频帧之间的运动轨迹并且得到参数d_{x_avg}、d_{y_avg}、d_{α_avg}。结合上述参数得到新的变换，新变换参数d_{x_new}、d_{y_new}、d_{α_new}为：

d_{x_new}＝d_x+(d_{x_avg}-∑d_x) (6)

d_{y_new}＝d_y+(d_{y_avg}-∑d_y) (7)

d_{α_new}＝d_α+(d_{α_avg}-∑d_α) (8)

最终得到新变换矩阵T_{new_transformation}。具体变换公式为：

将T_{new_transformation}作用在步骤2输出视频上得到最后视频稳定结果。

本实施例中，采用SURF特征点匹配的方法跟踪相机运动轨迹，为了得到准确精准的特征点匹配，本实施例采用RANSAC算法和对称验证匹配的策略提高匹配的精确度。本发明并不局限SURF特征点的提取和匹配算法，也可选用其他尺度不变的特征点提取和匹配算法。图2是单向特征点匹配结果图，图2(a)是后向匹配，图2(b)是前向匹配，如图2所示，单向特征点匹配产生一定数量的不准确匹配对。图3是双向匹配验证后特征点匹配结果，减少了错误匹配数量，得到准确的特征点匹配，根据准确的匹配特征点可以追踪相机的运动轨迹，为后续的平滑过程奠定了良好的基础。

本实施例中采用卡尔曼滤波和低通滤波的联合滤波对相机运动进行补偿。经过补偿后的视频会丢失一些像素，为了保证视频的分辨率，本实施例对丢失像素进行了补偿。

在本实施例中，左右视频的垂直视差对于3D视频观看舒适度影响做了主观实验，如图4(a)、(b)所示，大于40像素的垂直视差对3D视频观看的舒适度有很大的影响。本实施例统计左右视的特征点垂直视差直方图作为当前左右视的垂直视差，然后对垂直视差进行实时校正。

在本实施例中对视差校正后的视频进行了调整，视频的光流图如图5(b)所示，图中彩色区域即为运动物体。视差调整后，视频帧之间的变换参数如图6所示，实线即为水平平移d_x，虚线即为垂直平移d_y。调整过程的输入视频的运动轨迹和平滑后的轨迹如图7、8所示，图7即为x方向的运动轨迹对比，图8即为y方向的运动轨迹对比，实线即为调整视频的运动轨迹，虚线即为平滑处理后视频的运动轨迹。视频稳定调整过程的结果如图9所示，实线即为水平平移d_x，虚线即为垂直平移d_y。

如图10所示，图10(a)即为原始输入视频的第1、50、100、150帧，图10(b)即为垂直视差校正后视频的第1、50、100、150帧，图10(c)是调整后视频第1、50、100、150帧，即为本实施例的最终结果。

Claims (3)

1.一种联合空间时间轴的双视点立体视频稳定方法，其特征在于，包括以下步骤：

步骤1：对双视点视频分别进行时间轴维度的视频稳定：首先分别对左右双视点的连续视频帧提取特征点，剔除错误匹配的特征点，得到准确的特征点匹配；再根据准确的特征点匹配估计视频的帧间运动轨迹，然后利用滤波的方法去除视频中的高频部分，平滑输入视频的帧间运动轨迹并填补视频中丢失像素，保持输入视频的分辨率；

步骤2：对双视点视频进行空间轴维度的视频稳定：对经过步骤1处理后的左右视频进行空间轴维度的视频稳定，减少左右视频之间的垂直视差，提高3D视频的观看舒适度；首先对同一时刻的左右视频帧提取特征点，剔除不准确特征点匹配，得到左右双视点的准确特征点匹配；然后分别计算准确的匹配特征点在垂直方向上的视差，采用统计特征点垂直视差直方图的方法作为校正指标；最后根据得到的左右视频间的垂直视差进行实时校正，减少左右视频之间的垂直视差；

步骤3：视频稳定调整：对步骤2得到的视频使用光流法寻找前后相邻帧之间的变换T_{original_transformation}，并且该变换只包含三个参数：水平平移d_x、垂直平移d_y、旋转角度d_α；

累计d_x、d_y、d_α得到视频帧之间的运动轨迹∑d_x、∑d_y、∑d_α；采用窗口方法平滑视频帧之间的运动轨迹并且得到参数d_{x_avg}、d_{y_avg}、d_{α_avg}；结合上述参数得到新的变换，新变换参数d_{x_new}、d_{y_new}、d_{α_new}为：

d_{x_new}＝d_x+(d_{x_avg}-∑d_x)

d_{y_new}＝d_y+(d_{y_avg}-∑d_y)

d_{α_new}＝d_α+(d_{α_avg}-∑d_α)

最终得到新变换矩阵T_{new_transformation}；具体变换公式为：

将T_{new_transformation}作用在步骤2输出视频上得到最后视频稳定结果。

2.根据权利要求1所述的联合空间时间轴的双视点立体视频稳定方法，其特征在于，所述步骤1的具体步骤为：

步骤1.1，准确的特征点的提取、匹配和筛选：对单个视频的相邻帧分别提取特征点，为了提高特征点匹配的准确性，首先采用特征点之间欧式距离比率检测的方法，验证特征点匹配的准确性：

其中d₁是第i帧图像的特征点p和距离它最近的第i-1帧图像中特征点q之间的距离，d₂是第i帧图像的特征点p和距离它次近的第i-1帧图像中特征点q'之间的距离；当d₁和d₂的比值大于预先设定的阈值时，则认为该匹配不准确，剔除该特征点匹配，否则保留该准确匹配；其次，采用双向验证的方法进一步验证匹配，即查询图像的特征描述子索引和模板图像的特征描述子索引互相匹配；最后通过随机采样一致性，即RANSAC剔除不准确的匹配，采用RANSAC算法滤除错误匹配，寻找一个最优单应性矩阵H，使得满足该矩阵的数据点数量最多，即内点数量最多；经过特征点筛选步骤后，得到准确的特征点匹配；

步骤1.2，相机运动估计：根据步骤1.1中的特征点匹配，相机运动由透视变换的单应性变换描述；为了平滑相机的运动轨迹，参考了与当前帧相邻的2n帧；设定第i帧和第j帧之间的变换为T_i ^j，当前帧的编号为t，与它相邻帧的编号设为{w|t-n≤w≤t+n}，得到最后的单应性变换T_final：

其中G(u,σ)是均值为零、方差为的高斯分布；

步骤1.3，相机运动补偿：在透射变换之后，采用卡尔曼滤波进一步去除抖动，视频的第一帧被认为是稳定的，将第一帧作为参考帧来稳定下一帧，然后将第二帧作为参考帧来稳定第三帧，重复操作直到最后一帧稳定；使用卡尔曼滤波通常基于抖动视频中含有白噪声，但这种假设有时和现实情况不符，由于视频中的抖动部分在频域中往往是高频部分，本方法结合了卡尔曼滤波和低通滤波，低通滤波能够有效地去除视频抖动；

步骤1.4，像素填补：视频经过步骤1.3处理之后会出现像素丢失，所以需要对丢失像素进行填补，从而保护视频的分辨率；采用下式所示的平均填补：

其中，I_t(m,n)是当前帧t丢失像素的像素值，I_i'(m,n)是丢失像素在相邻帧对应位置像素的值。

3.根据权利要求1所述的联合空间时间轴的双视点立体视频稳定方法，其特征在于，所述步骤2的具体步骤为：

步骤2.1，左右视点的特征点匹配：对稳定后的左右视提取特征点，为了提高特征点匹配的准确性，首先通过特征点之间距离比较的方法，验证特征点匹配的准确性，然后，采用双向验证的方法进一步验证匹配，最后采用RANSAC剔除不准确的匹配，经过特征点筛选步骤后，得到左右视频间准确的特征点匹配；

步骤2.2，特征点垂直视差直方图统计：分别计算准确的匹配特征点在垂直方向上的视差，采用特征点平均垂直视差、统计特征点垂直视差直方图、优先选取靠近零平面的特征点的方法，将统计的结果作为垂直视差校正的指标；

步骤2.3，垂直视差校正：根据步骤2.2中得到左右视频间的垂直视差进行实时校正，减少左右视频之间的垂直视差，提高3D视频的观看舒适度。