CN108307118B - 一种基于惯导参数流形优化的低延时视频稳像方法 - Google Patents

Abstract

本发明涉及一种基于惯导航参数流形优化的低延时视频稳像方法，属于视频处理技术领域。包括以下步骤：获取移动设备的惯导参数，根据该参数计算移动设备在相机坐标系中的刚体变换的旋转矩阵，将该旋转矩阵序列表示为由刚体变换组成的李群流形，然后通过流形上的卡尔曼滤波对刚体变换序列进行平滑，最后通过投影对视频帧进行运动的补偿变换，得到稳定的视频。与已有的方法相比，该方法直接获取移动设备的运动参数，避免了运动估计中的大量计算以及对视频拍摄场景的依赖；且将运动平滑部分整合到李群流形的卡尔曼滤波算法中，提高了计算效率，节省了计算时间，实现了低延时稳像处理。

Description

一种基于惯导参数流形优化的低延时视频稳像方法

技术领域

本发明涉及一种视频稳像方法，特别涉及一种基于惯性导航参数(简称惯导参数)流形优化的低延时的视频稳像方法，属于视频处理技术领域。

背景技术

随着电子技术的发展，手机、摄像机等视频采集设备的普及性越来越高。电子设备的轻量化、廉价化促使视频拍摄成为人们娱乐生活中重要的一部分。但是，便携式视频拍摄设备的质量较轻，操作者不可避免产生晃动，另外业余爱好者缺少三脚架、云台等稳定设备，因此拍摄时，摄像机会产生一定程度的抖动，导致采集到的视频数据不稳定。不稳定的视频不仅对人们的视觉效果有较大的影响，对于视频图像的后续处理也十分不利。正是由于不稳定的视频存在诸多的负面影响，视频稳像技术具有非常重要的现实意义。

伴随着智能终端设备占据主流市场，智能传感器的使用越来越普及，以及人们对于应用时效性的要求越来越高，在视频稳像时，往往需要对视频帧进行低延时处理，即尽可能减少当前采集到的视频帧和已处理视频帧之间的延迟。许多国内外研究者已经开始展开对低延时视频稳像技术的研究。目前常用的低延时视频稳像算法主要分为两类：2D低延时稳像和3D低延时稳像。2D低延时稳像以基于卡尔曼滤波的视频稳像(A.Litvin,J.Konrad,W.Karl.Probabilistic video stabilization using Kalman filtering andmosaicking.Symposium on Electronic Imaging,Image and Video Communications,2003)为代表，该方法利用特征点提取的方法估计摄像机的运动轨迹表示为仿射矩阵，在此基础上利用卡尔曼滤波去除视频序列中不需要的抖动。卡尔曼滤能够预测未来的状态，具有实时计算的优点，能够保证算法低延时处理。但基于特征点的运动估计方法在视频图像平滑区域较大、噪声严重以及视频拍摄环境较暗等情况下效果不好，从而影响了视频稳像的效果。该方法无法在处理效果和处理时间上达到一个平衡。3D低延时稳像以基于流形的视频稳像(C.Jia and B.L.Evans,“Constrained 3D rotation smoothing via globalmanifold regression for video stabilization,”IEEE Trans.Signal Process.,vol.62,no.13,pp.3293–3304,Jul.2014)为代表，该方法通过读取惯导参数直接获得移动设备的运动轨迹，将其表示为旋转矩阵，并将旋转矩阵整合到黎曼流形中，通过对能量方程求最优解得到稳定的相机运动轨迹。该方法避免了运动估计过程中的大量计算，并且不受视频拍摄内容的影响，对计算速度和稳像效果都有一定的提升。但该算法对旋转矩阵进行全局平滑优化，无法实时的进行计算，算法延时仍较高。

发明内容

本发明的目的是对于现有视频稳像算法延时较高、稳像效果不佳的问题，提出了一种基于惯性导航参数流形优化的低延时视频稳像方法。

本发明的核心思想是将惯导参数表示为刚体变换组成的李群流形，然后通过流形上的卡尔曼滤波对刚体变换序列进行平滑，最后通过投影变换对视频帧进行运动补偿变换，得到稳定的视频。

一种基于惯导参数流形优化的低延时的视频稳像方法，包括以下步骤：

步骤一、获取惯导参数；

惯导参数为移动设备在相机坐标系中绕三个坐标轴的旋转角速度；具体的：惯导参数获取通过利用带有惯导传感器的移动设备在拍摄视频的同时提取；

步骤二、计算刚体变换的旋转矩阵，即原始旋转矩阵；具体为：

步骤2.1将旋转角速度按时间进行积分，得到当前时刻的旋转角度；

绕移动设备x轴旋转的角度为

绕移动设备y轴旋转的角度为θ，绕移动设备z轴旋转的角度为ψ；此三个旋转角度分别表示为公式(1)、(2)和(3)：

θ＝∫ω_yd_t (2)

ψ＝∫ω_zd_t (3)

其中，ω_x是绕移动设备x轴的旋转角速度，ω_y是绕移动设备y轴的旋转角速度,ω_z是绕移动设备z轴的旋转角速度。∫*d_t表示对时间进行积分。

步骤2.2根据刚体变换原理，将步骤2.1中的旋转角度

θ、ψ带入刚体变换公式得到刚体变换的旋转矩阵R，如下公式(4)所示：

其中，R是一个3×3的旋转矩阵；

步骤三、对步骤二输出的旋转矩阵进行卡尔曼滤波，得到卡尔曼滤波后的旋转矩阵；具体为：

刚体变换的旋转矩阵序列形成一个李群流形，表示为SO(3)；对于任意旋转矩阵R∈SO(3)，在李群流形中对旋转矩阵R进行卡尔曼滤波；

卡尔曼滤波包括预测和更新两个过程，其中,采用卡尔曼滤波的预测过程表示如公式(5)和公式(6)：

P′_k＝P_k-1+q (6)

其中，

是k-1时刻旋转矩阵的估计值，

是k时刻旋转矩阵的预测值；P_k-1是k-1时刻协方差的估计值，P′_k是k时刻协方差的预测值，q是满足高斯分布的系统噪声；

采用卡尔曼滤波的更新过程表示如公式(7)、公式(8)和公式(9)：

K_k＝P_k＇/(P_k＇+r) (7)

P_k＝(I-K_k)P_k＇ (9)

其中，K_k是卡尔曼增益，r是满足高斯分布的测量噪声，Z_k是k时刻的测量值。对于公式(8)，是按照李群流形上测地线对预测值

和测量值Z_k的插值；

步骤四、将相机坐标系映射到图像坐标系，根据移动设备内参矩阵得到映射关系；

根据相机的小孔成像原理，对于相机坐标系中的一点X，它投影到图像坐标系上的坐标点x如公式(10)所示：

x＝KX (10)

其中，x以齐次坐标的形式表示，K为移动设备内参矩阵，通过对移动设备进行标定得到具体形式为公式(11)：

其中，f_x、f_y是表示焦距的参数，x₀、y₀是主点偏移量、s是倾斜轴；

步骤五、利用步骤二输出的原始旋转矩阵、步骤三输出的滤波后的旋转矩阵和步骤四得到的映射关系进行补偿变换，具体为：

根据得到的移动设备内参矩阵以及平滑前后的旋转矩阵，可以得到平滑前后视频帧图像坐标系中的坐标点之间的映射关系：

其中，

是平滑后的视频帧图像坐标，x是平滑前的视频帧图像坐标，即通过拍摄得到的原始图像坐标，

和x均以齐次坐标的形式表示，K是移动设备内参矩阵，

是平滑后的旋转矩阵，R是平滑前的旋转矩阵；根据平滑前后视频帧图像坐标点之间的映射关系对视频帧图像做补偿变换，即可得到稳定的视频；

至此，从步骤一到步骤五，完成了一种基于惯性导航参数流形优化的低延时的视频稳像方法。

有益效果

本发明一种基于惯性导航参数流形优化的低延时的视频稳像方法，与现有技术相比，具有如下有益效果：

(1)本发明所述方法直接读取移动设备的惯导参数，并且对流形计算和卡尔曼滤波进行结合，能够提供更低的延时；

(2)本发明所述方法利用惯导参数提供了更好的稳像效果。

附图说明

图1是本发明一种基于惯性导航参数在流形上优化的低延时的视频稳像方法的流程图。

具体实施方式

下面结合附图1对本发明方法的实施方式做详细说明。

一种基于惯导参数流形优化的低延时的视频稳像方法，本发明的具体实现步骤如下：

步骤A、获取惯导参数；

在本实施例中，利用带有惯导传感器移动设备iphone的数据接口，在拍摄视频的同时提取惯导参数，该参数为移动设备在相机坐标系中绕三个坐标轴旋转角速度。此处视频拍时帧率设置为30fp，惯导参数的采样频率为1秒30次；利用该参数来对移动的设备的运动进行建模能够获得更加准确的运动轨迹，对视频稳像结果有一定的提升，并且减小了计算量，从而降低了算法的延时。

步骤B、计算刚体变换的旋转矩阵，具体为：

步骤B.a将旋转角速度按时间进行积分，得到当前时刻的旋转角度；

绕移动设备x轴旋转的角度为

绕移动设备y轴旋转的角度为θ，绕移动设备z轴旋转的角度为ψ；此三个旋转角度分别表示为公式(12)、(13)和(14)：

θ＝∫ω_yd_t (13)

ψ＝∫ω_zd_t (14)

其中，ω_x是绕移动设备x轴的旋转角速度，ω_y是绕移动设备y轴的旋转角速度,ω_z是绕移动设备z轴的旋转角速度。∫*d_t表示对时间进行积分。此处t取值同惯导参数采样间隔，为1/30秒。

步骤B.b根据刚体变换原理，将步骤B.a中的旋转角度

θ、ψ带入刚体变换公式得到刚体变换的旋转矩阵R，如下公式(15)所示：

其中R是一个3×3的旋转矩阵；

步骤C、对步骤B输出的旋转矩阵进行卡尔曼滤波，具体为：

刚体变换的旋转矩阵序列形成一个李群流，表示为SO(3)；对于任意旋转矩阵R∈SO(3)，在李群流形中对旋转矩阵R进行卡尔曼滤波。卡尔曼滤波包括预测和更新两个过程，其中采用卡尔曼滤波的预测过程表示如公式(16)和公式(17)：

P′_k＝P_k-1+q (17)

其中，

是k-1时刻旋转矩阵的估计值，

是k时刻旋转矩阵的预测值；P_k-1是k-1时刻协方差的估计值，P′_k是k时刻协方差的预测值，q是满足高斯分布的系统噪声；在本实施例中，迭代的初始阶段将P₀设置为10，q设置为e^-4，该值的设定保证卡尔曼滤波在预测过程中能够适当保留前一时刻的运动趋势。

采用卡尔曼滤波的更新过程表示如公式(18)、公式(19)和公式(20)：

K_k＝P′_k/(P′_k+r) (18)

P_k＝(I-K_k)P′_k (20)

其中，K_k是卡尔曼增益，r是满足高斯分布的测量噪声，Z_k是k时刻的测量值。对于公式(19)，是按照李群流形上测地线对预测值

和测量值Z_k的插值；在本实施例中，将r设置为e^-1，该值的设定保证卡尔曼滤波在更新过程中能够适当的保留测量值的权重。

至此，卡尔曼滤波通过迭代在预测值和测量值中自适应的调整权重，保证平滑后的旋转矩阵能够改善视频稳像的效果；

步骤D、将相机坐标系映射到图像坐标系，根据移动设备内参矩阵得到映射关系；

根据相机的小孔成像原理，对于相机坐标系中的一点X，它投影到图像坐标系上的坐标点x如公式(21)所示：

x＝KX (21)

其中x为齐次坐标，K为移动设备内参矩阵，通过对移动设备进行标定得到，具体形式为公式(22)：

其中，f_x、f_y是表示焦距的参数，x₀、y₀是主点偏移量，s是倾斜轴。在本实施例中x₀的取值为视频帧图像宽度的二分之一，为360，y₀的取值为视频帧图像高度的二分之一，为240，s是倾斜轴，取值为1。

通过将相机坐标系映射到图像坐标系，我们将相机坐标系三维空间中移动设备的运动轨迹投影为图像坐标系二维空间中像素点的运动轨迹，为后续对图像进行补偿变换奠定了基础；

步骤E、利用步骤B输出的原始旋转矩阵、步骤C输出的滤波后的旋转矩阵和步骤D得到的映射关系进行补偿变换，具体为：

根据得到的移动设备内参矩阵以及平滑前后的旋转矩阵，可以得到平滑前后视频帧图像坐标系中的坐标点之间的映射关系：

其中，

是平滑后的视频帧图像坐标，x是平滑前的视频帧图像坐标，即通过拍摄得到的原始图像坐标，

和x均以齐次坐标的形式表示，K是移动设备内参矩阵，

是平滑后的旋转矩阵，R是平滑前的旋转矩阵。根据平滑前后视频帧图像坐标点之间的映射关系对视频帧图像做补偿变换，即可得到稳定的视频。

为了说明本发明的内容及实施方法，本说明书给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

Claims (5)

1.一种基于惯导参数流形优化的低延时视频稳像方法，其特征在于:核心思想是将惯导参数表示为刚体变换组成的李群流形，然后通过流形上的卡尔曼滤波对刚体变换序列进行平滑，最后通过投影变换对视频帧进行运动补偿变换，得到稳定的视频，包括以下步骤：

步骤一、获取惯导参数；

其中，惯导参数为移动设备在相机坐标系中绕三个坐标轴的旋转角速度；

步骤二、计算刚体变换的旋转矩阵，即原始旋转矩阵，具体为：

步骤2.1将旋转角速度按时间进行积分，得到当前时刻的旋转角度；

绕移动设备x轴旋转的角度为

绕移动设备y轴旋转的角度为θ，绕移动设备z轴旋转的角度为ψ；此三个旋转角度分别表示为公式(1)、(2)和(3)：

θ＝∫ω_yd_t (2)

ψ＝∫ω_zd_t (3)

其中，ω_x是绕移动设备x轴的旋转角速度，ω_y是绕移动设备y轴的旋转角速度,ω_z是绕移动设备z轴的旋转角速度；∫*d_t表示对时间进行积分；

步骤2.2根据刚体变换原理，将步骤2.1中的旋转角度

θ、ψ带入刚体变换公式得到刚体变换的旋转矩阵R，如下公式(4)所示：

其中，R是一个3×3的旋转矩阵；

步骤三、对步骤二输出的旋转矩阵进行卡尔曼滤波，得到卡尔曼滤波后的旋转矩阵；

步骤四、将相机坐标系映射到图像坐标系，得到映射关系；

步骤五、利用步骤二输出的原始旋转矩阵、步骤三输出的卡尔曼滤波后的旋转矩阵和步骤四得到的映射关系进行补偿变换；

至此，从步骤一到步骤五，完成了一种基于惯性导航参数流形优化的低延时的视频稳像方法。

2.根据权利要求1所述的一种基于惯导参数流形优化的低延时视频稳像方法，其特征在于:步骤一中的惯导参数获取通过利用带有惯导传感器的移动设备在拍摄视频的同时提取。

3.根据权利要求1所述的一种基于惯导参数流形优化的低延时视频稳像方法，其特征在于:步骤三，具体为：刚体变换的旋转矩阵序列形成一个李群流形示为SO(3)；对于任意旋转矩阵R∈SO(3)，在李群流形中对旋转矩阵R进行卡尔曼滤波；

卡尔曼滤波包括预测和更新两个过程，其中，采用卡尔曼滤波的预测过程表示如公式(5)和公式(6)：

P′_k＝P_k-1+q (6)

其中，

是k-1时刻旋转矩阵的估计值，

是k时刻旋转矩阵的预测值；P_k-1是k-1时刻协方差的估计值，P′_k是k时刻协方差的预测值，q是满足高斯分布的系统噪声；

采用卡尔曼滤波的更新过程表示如公式(7)、公式(8)和公式(9)：

K_k＝P′_k/(P′_k+r) (7)

P_k＝(I-K_k)P′_k (9)

其中，K_k是卡尔曼增益，r是满足高斯分布的测量噪声，Z_k是k时刻的测量值；对于公式(8)，是按照李群流形上测地线对预测值

和测量值Z_k的插值。

4.根据权利要求1所述的一种基于惯导参数流形优化的低延时视频稳像方法，其特征在于:步骤四，具体为：根据相机的小孔成像原理，对于相机坐标系中的一点X，它投影到图像坐标系上的坐标点x如公式(10)所示：

x＝KX (10)

其中，x以齐次坐标的形式表示，K为移动设备内参矩阵，通过对移动设备进行标定得到，具体形式为公式(11)：

其中，f_x、f_y是表示焦距的参数，x₀、y₀是主点偏移量、s是倾斜轴。

5.根据权利要求1所述的一种基于惯导参数流形优化的低延时视频稳像方法，其特征在于:步骤五，具体为：

根据得到的移动设备内参矩阵以及平滑前后的旋转矩阵，可以得到平滑前后视频帧图像坐标系中的坐标点之间的映射关系：

其中，

是平滑后的视频帧图像坐标，x是平滑前的视频帧图像坐标，即通过拍摄得到的原始图像坐标，

和x均以齐次坐标的形式表示，K是移动设备内参矩阵，

是平滑后的旋转矩阵，R是平滑前的旋转矩阵；根据平滑前后视频帧图像坐标点之间的映射关系对视频帧图像做补偿变换，即可得到稳定的视频。

Images