CN109819158B - 基于光场成像的视频稳像方法 - Google Patents

Abstract

本发明提供了一种基于光场成像的视频稳像方法，首先获得抖动视频数据，重建相机3D结构，包括相机运动轨迹和场景3D点集合；然后平滑相机运动轨迹，结合平滑后的相机运动轨迹和场景3D点集生成稳定视频。本发明在获取的抖动光场视频的基础上，利用匹配的光线集合重建相机3D结构，包括相机运动轨迹和场景3D点集，不必借助复杂耗时的SFM算法或额外的硬件设备，实现快速准确的视频稳像。

Description

基于光场成像的视频稳像方法

技术领域

本发明涉及一种视频稳像方法。

背景技术

光场成像理论是计算成像领域的研究热点，也是国内外学界关注的焦点之一。光场图像记录了空间中光线的空间和角度信息，加之光场成像系统具有多视点的特性，成像结果中隐含了丰富的深度线索，因此研究基于光场成像的视频稳像算法可为传统的稳像算法提供新的思路。

根据运动模型，现有的视频稳像技术分为2D稳像算法、3D稳像算法和2.5D稳像算法。

2D稳像方法首先估计相邻视频帧之间的二维变换关系，通过连接图像帧之间的变换关系在2D空间内估计摄像机运动路径，然后通过平滑2D摄像机路径实现稳定视频的生成。Grundmann等通过估计仿射变换或者相邻帧之间的单应性，进而对相邻帧变化进行平滑处理以降低相机高频抖动。为了抑制相机低频抖动，Chen等提出用多项式曲线拟合相机的运动轨迹。Gleicher等将相机的运动轨迹进行分段处理，通过对各段轨迹进行独立的平滑计算获得了更好的稳像效果。Grundmann等人应用摄像规则，通过将相机运动轨迹分解为不变路径、匀速路径和匀加速路径的组合来实现运动轨迹的估计。Liu等采用多路径模型，将视频进行分块，对多条路径进行优化。Zhang等通过设置黎曼度量，将优化的平滑路径投射为变换空间中的李群上的测地线。Liu等从视频编码角度考虑，从中提取出运动矢量来构建相机运动。2D类方法只需计算相邻帧之间的特征匹配，因此鲁棒性较高，运算速度较快。但是，基于特征点匹配的2D方法需要假设场景中的物体位于一个平面内或者相机只进行单纯的旋转运动，因此其应用具有较大的局限性。

3D稳像方法需要估计完备的场景三维结构，即需要以准确的摄像机3D姿态和场景中点云深度为先验才能实现稳像。场景三维结构一般可通过SFM算法计算获得或者采用深度传感器直接获取。Buehler等提出一种基于场景摄影重构的三维视频稳像方法，而场景的摄影重构通过对未标定的摄像机数据进行SFM计算获得。Smith等假设场景的欧氏重构已经获得，通过最小化相机在旋转、平移和变焦的加速度来获取平滑的相机运动轨迹，最终实现视频稳像。Liu等引入内容保护规整方法(Content-Preserving Warps)，在合成新视点图像帧的基础上实现了基于完整三维结构的视频稳像方法。Liu等利用深度传感器(Kinect)记录场景深度信息，然而深度传感器的可视范围有限，不适合室外场景拍摄。3D稳像可以处理具有复杂运的视频。但是SFM的计算复杂度高，且要求视频中包含足够的运动信息用来重建三维结构。当视频中缺少视差信息，或者有镜头的缩放等情况时，SFM很难得到有效的三维结构。而深度传感器一般只能获得不完整的深度图，这使得摄像机3D姿态的计算及后期渲染工作都有很大的困难。

2.5D稳像方法是介于2D稳像和3D稳像之间的一种折衷方法。2.5D方法在2D帧间关系中嵌入3D信息，采用对极几何与特征跟踪技术将相机运动表达为轨迹。Goldstein等利用对极变换方法，在2.5D框架下实现了视频稳像，在一定程度上避免脆弱的3D重建对稳像的影响。Wang等将每个轨迹表示为贝塞尔曲线，采用时空最但是优化算法实现了平滑。Lee等引入特征修剪技术来选择鲁棒的特征轨迹，并在此基础上实现对运动平滑。Liu等首先从超过50帧的特征轨迹中抽取满足要求的帧构成轨迹子空间，然后通过平滑子空间的基本轨迹实现整个视频的稳像。2.5D方法将3D重构降维成一个长特征轨迹，但是可以获得和完整3D重构方法相当的结果。但是在真实的场景中，该方用性仍受限于运动模糊和长特征轨迹(超过30帧)的获取。当构造的特征迹短于30帧时，2.5D方法无法获得满意的结果。

发明内容

为了克服现有技术的不足，本发明提供一种基于光线匹配的视频稳像方法，在获取的抖动光场视频的基础上，利用匹配的光线集合重建相机3D结构，包括相机运动轨迹和场景3D点集，不必借助复杂耗时的SFM算法或额外的硬件设备，实现快速准确的视频稳像。

本发明解决其技术问题所采用的技术方案包括以下步骤：

S1，通过光场相机、相机阵列或者有视角重叠的多个分散放置的相机获得抖动视频数据；

S2，重建相机3D结构，包括相机运动轨迹和场景3D点集合；对于相机阵列或者有视角重叠的多个分散放置的相机，利用相邻相机匹配光线集合计算相机的相对运动和场景3D点集合，进而通过级联相对运动获得整个相机轨迹；

S3，利用曲线平滑方法，对相机的旋转路径和平滑路径进行分别平滑，去除相机运动轨迹上的高低频抖动；

S4，利用原始路径与平滑路径之间的变换关系，将场景3D点P变换到平滑路径上；利用原始空间点与平滑路径上的空间点计算混合单应直接将整个原始视频帧或者分块将原始视频帧变换到平滑路径上生成稳定视频。

所述的步骤S2中，对于相机阵列或者有视角重叠的多个分散放置的相机，首先在相机间进行图像特征点匹配，并剔除外点；然后利用相机的内参矩阵将图像坐标系下的特征点坐标归一化到相机坐标系，图像特征点的齐次坐标p的归一化坐标

其中，K是相机的内参矩阵；将图像坐标系下的像素点匹配变成世界坐标系下的光线匹配，即为匹配光线集合；

相邻光场的匹配光线集合的变换关系

其中，r_t和r_t+1表示t时刻和t+1时刻下的对应光线集合，R_t和T_t表示相机从t时刻到t+1时刻的相对旋转变换矩阵和相对平移变换矩阵；获得相机相对运动矩阵后，以光场相机第一时刻作为世界坐标系原点，通过矩阵的级联获得相机的运动轨迹，原始相机运动轨迹表示为旋转路径

和平移路径

一个空间3D点P＝[X Y Z]^T在光线r_t上，

堆叠穿过3D点P的所有光线，利用线性求解算法即可求出t时刻的所有稀疏3D点集合。

所述的曲线平滑方法包括最小化曲率变化法、贝塞尔曲线法、五点平滑法、七点平滑法。

本发明的有益效果是：

本发明基于线具有更多空间结构和几何约束的理论，利用光线匹配重建相机3D结构，重建的相机路径和场景3D点精度更高。

传统的3D方法利用计算复杂度高的SFM算法重建相机3D结构，本发明克服了克服了这一缺点，本发明的重建速度更快。

传统的3D方法要求视频中存在长的特征轨迹，这个特点导致传统3D方法在多数真实场景中效果不好。本发明不需要长的特征轨迹，只需要相邻两帧的特征轨迹即可，更适用于真实场景。

传统的3D方法重建的相机路径是旋转和平移混合的整体路径(二维变量)，本发明根据相机的旋转和平移是相互独立的，重建了旋转路径(一维变量)和平移路径(一维变量)，这使得后续的平滑算法计算更简单，速度更快。

随着多摄像机系统的移动设备(如手机)越来越普及，基于光场成像的多摄像机模式是重要的发展趋势。本发明适用于多摄像机模式视频稳像且可以朝着实时的方向发展。

附图说明

图1是本发明实施例的流程示意图。

图2是以相机阵列为例的光线模型图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

为了克服现有稳像方法需要复杂耗时的SFM算法重建场景三维结构或者只能处理相机做平面运动或者单纯的旋转运动的场景等问题，本发明提出一种基于光线匹配的视频稳像方法，包括以下几个步骤：

S1、获得抖动视频数据。

视频数据可由光场相机、相机阵列(相机位置可呈矩阵排布或者不规则排布)或者有视角重叠的多个分散放置的相机拍摄获得。

S2、重建相机3D结构，包括相机运动轨迹和场景3D点集合。

对于相邻相机，利用匹配光线集合计算相机的相对运动和场景3D点集合，进而通过级联相对运动获得整个相机轨迹。

S2.1、求解匹配光线集合。

首先，在相机间进行图像特征点匹配，特征点可以选用SIFT特征点、Harris角点、Canny边缘特征点或其他特征点，并采用外点去除方法剔除外点，提高匹配精度，外点去除方法可以选用但不仅限于RANSAC方法。

然后，由于光心与特征点的坐标系不同，需要利用相机的内参矩阵将图像坐标系下的特征点坐标归一化到相机坐标系，如下式(1-1)所示。

其中，K是相机的内参矩阵，p是图像特征点的齐次坐标，

是p的归一化坐标。

最后，采用普吕克坐标系或者笛卡尔坐标系来表示光心与归一化坐标点的连线即为光线r。因此，按照这种方法可以将图像坐标系下的像素点匹配变成世界坐标系下的光线匹配，即为匹配光线集合。

S2.2、重建相机运动轨迹。

相邻光场的匹配光线集合的变换关系可以用式(1-2)表示，

其中，r_t和r_t+1表示t时刻和t+1时刻下的对应光线集合，R_t和T_t表示相机从t时刻到t+1时刻的相对旋转变换矩阵和相对平移变换矩阵。

获得相机相对运动矩阵后，以光场相机第一时刻作为世界坐标系原点，通过矩阵的级联即可获得相机的运动轨迹。由于相机的旋转和平移是相互独立的，原始相机运动轨迹可以表示为旋转路径

和平移路径

分别表示相机的朝向和位置，可由下式(1-3)获得。

S2.3、重建场景3D点集合。

一个空间3D点P＝[X Y Z]^T在光线r_t上，则满足公式(1-4)。

堆叠穿过3D点P的所有光线，利用线性求解算法即可求出t时刻的所有稀疏3D点集合。

S3，平滑相机运动轨迹。

由公式(1-3)知可以对相机的旋转路径和平滑路径进行分别平滑。下面以旋转路径的平滑为例，给出对应的能量函数，平移路径的平滑可以使用相同的方法。

平滑算法能量函数E包括两项约束：相似性约束E_similarity和平滑项约束E_smooth，

可由下式公式(1-5)表示，

E＝E_similarity+λE_smooth (1-5)

其中，λ是用来权衡相似性约束与平滑项的的权重。

相似性约束E_similarity限制平滑路径与原始路径的偏离距离，防止因平滑视频与原始视频的场景重叠区域过小导致大量空白区域。其形式一般为

其中

表示t时刻平滑路径上的朝向。

平滑项约束E_smooth旨在利用曲线平滑方法，去除相机运动轨迹上的高低频抖动。曲线平滑方法包括最小化曲率变化法、贝塞尔曲线法、五点平滑法、七点平滑法。

S4，结合平滑后的相机运动轨迹和场景3D点集生成稳定视频。

首先，利用原始路径与平滑路径之间的变换关系，将场景3D点P变换到平滑路径上，如下式(1-6)。

其中，

和

分别表示t时刻相机在平滑路径上的相机朝向和位置。

然后，利用原始空间点与平滑路径上的空间点计算混合单应直接将整个原始视频帧或者分块将原始视频帧变换到平滑路径上生成稳定视频。

在本实施例中，使用矩形排布的5*5微相机阵列采集抖动光场视频数据。采集到的光场数据共有5×5个视点。

在本实施例中，特征点选用SIFT特征点，并使用RANSAC算法剔除局外点，RANAC的阈值设为0.01。利用普吕克坐标系将图像坐标系下的特征点对应变换到世界坐标系下的光线对应，光线用6维矢量表示。公式(1-2)采用奇异值分解(SVD)求解初始解，并以重投影误差作为非线性优化方程优化初始解，最大迭代次数设为50次。

在本实施例中，采用最小化曲线斜率变化的方法平滑相机轨迹。下面以相机的旋转路径为例给出平滑方法，平移路径的平滑路径可用相同的方法获得。

旋转轨迹上每一点的斜率

可由下式(1-7)表示。

其中，

表示t时刻相机在平滑路径上的朝向。

根据曲线平滑原理，曲线的斜率变化越趋近于0表示路径越趋于平滑。因此，平滑路径的斜率变化要尽可能小，下式(1-8)给出旋转路径的平滑公式，

其中，ω(·)是一个高斯函数，用于在快速平移或旋转下保持运动的连续性，如式(1-9)所示。

采用左除法求解公式(1-3)，其中平滑项的参数设置为λ_R＝60～100，λ_T＝1～5，δ＝1。

在本实施例中，利用混合单应合成稳定视频帧。以3D点为控制点，在2D单应中嵌入3D信息构造混合单应，利用公式(1-10)可以求出t时刻的混合单应矩阵H_t。

min∑(H_tp-KP_smooth) (1-10)

进一步的，用混合单应引导原始路径视频帧变换到平滑路径，采用backwardwarping的方法逆向映射。

Claims (2)

1.一种基于光场成像的视频稳像方法，其特征在于包括下述步骤：

S1，通过光场相机、相机阵列或者有视角重叠的多个分散放置的相机获得抖动视频数据；

S2，重建相机3D结构，包括相机运动轨迹和空间3D点P集合；对于相机阵列或者有视角重叠的多个分散放置的相机，利用相邻相机匹配光线集合计算相机的相对运动和空间3D点P集合，进而通过级联相对运动获得整个相机轨迹；

对于相机阵列或者有视角重叠的多个分散放置的相机，首先在相机间进行图像特征点匹配，并剔除外点；然后利用相机的内参矩阵将图像坐标系下的特征点坐标归一化到相机坐标系，图像特征点的齐次坐标p的归一化坐标

其中，K是相机的内参矩阵；将图像坐标系下的像素点匹配变成世界坐标系下的光线匹配，即为匹配光线集合；相邻光场的匹配光线集合的变换关系

其中，r_t和r_t+1表示t时刻和t+1时刻下的对应光线集合，R_t和T_t表示相机从t时刻到t+1时刻的相对旋转变换矩阵和相对平移变换矩阵；获得相对旋转变换矩阵和相对平移变换矩阵后，以光场相机第一时刻作为世界坐标系原点，通过矩阵的级联获得相机的运动轨迹，原始相机运动轨迹表示为旋转路径

和平滑路径

一个空间3D点P＝[X Y Z]^T在光线集合r_t上，

堆叠穿过空间3D点P的所有光线，利用线性求解算法即可求出t时刻的所有稀疏3D点集合；

S3，利用曲线平滑方法，对相机的旋转路径和平滑路径分别进行平滑，去除相机运动轨迹上的高低频抖动；

旋转路径和平滑路径进行平滑的方法为：

平滑算法能量函数E包括两项约束：相似性约束E_similarity和平滑项约束E_smooth，由下式表示：

E＝E_similarity+λE_smooth

其中，λ是用来权衡相似性约束与平滑项约束的权重；

相似性约束E_similarity限制平滑路径与原始路径的偏离距离，形式为

其中

表示t时刻平滑路径上的朝向；

S4，利用原始路径与平滑路径之间的变换关系，将空间3D点P变换到平滑路径上；利用原始空间点与平滑路径上的空间点计算混合单应，利用混合单应，直接将整个原始视频帧变换到平滑路径上生成稳定视频，或者直接分块将整个原始视频帧变换到平滑路径上生成稳定视频。

2.根据权利要求1所述的基于光场成像的视频稳像方法，其特征在于：

所述的曲线平滑方法包括最小化曲率变化法、贝塞尔曲线法、五点平滑法、七点平滑法。

Images