CN106027852B - 一种用于微纳卫星的视频稳像方法 - Google Patents

Abstract

本发明属于视频稳像技术领域，公开了一种用于微纳卫星的视频稳像方法。视频稳像方法为：通过相机获取景物的视频信息，通过陀螺仪获取相机运动信息；然后将视频信息和相机运动信息进行融合处理得到相机运动轨迹，再通过平滑算法对相机运动轨迹进行平滑处理得到平滑相机运动轨迹，最后利用平滑相机运动轨迹对视频信息进行稳像处理得到稳像视频。该方法使用的传感器较少，适用于对质量、体积、功耗、成本等有着严格要求的微纳卫星；且提出算法稳像性能也较好，具有较为广泛的应用场景。

Description

一种用于微纳卫星的视频稳像方法

技术领域

本发明属于视频稳像技术领域，特别涉及一种用于微纳卫星的视频稳像方法。

背景技术

微纳卫星(NanoSat)是指质量小于10千克、具有实际使用功能的卫星，其在质量、体积、功耗等方面有着严格的要求。微纳卫星由于体积小、重量轻，在太空中拍摄视频时，易受恶劣环境的影响从而导致卫星本身的晃动，继而带动相机的不规则运动，导致最终拍摄的视频出现抖动。视频的抖动，不仅影响视频的主观质量，同时也限制了其后期信息的有效利用，甚至会直接影响人们对视频内容的分析判断。因此，面向微纳卫星开发性能优异的视频稳像方法有效地消除视频的抖动，是目前视频处理领域的一个重要的研究方向。

专利“一种移动终端视频的电子稳像方法，公开号：CN104902142A”公开了一种用于移动终端视频的电子稳像方法，该方法旨在利用陀螺仪、加速度计、地磁传感器等姿态传感器测量视频的帧间运动矢量，从而对抖动的视频帧进行补偿稳像。由于该方法使用的传感器较多，因此，不适用于对质量、体积、功耗、成本等有着严格要求的微纳卫星。

发明内容

本发明的目的是提供一种用于微纳卫星的视频稳像方法，该方法使用的传感器较少，适用于对质量、体积、功耗、成本等有着严格要求的微纳卫星；且提出算法稳像性能也较好，具有较为广泛的应用场景。

为达到以上目的，本发明采用以下技术方案予以实现。

一种用于微纳卫星的视频稳像方法，其特征在于：通过相机获取景物的视频信息，通过陀螺仪获取相机运动信息；然后将视频信息和相机运动信息进行融合处理得到相机运动轨迹，再通过平滑算法对相机运动轨迹进行平滑处理得到平滑相机运动轨迹，最后利用平滑相机运动轨迹对视频信息进行稳像处理得到稳像视频；

融合处理的具体步骤如下：

(1)在视频信息中，通过SIFT特征点提取算法提取n个当前帧特征点，然后通过SIFT匹配算法寻找当前帧特征点在下一帧中的视频匹配点，得到 n个视频匹配点a_n＝(x,y,z)^T，其中x，y，z分别代表了特征点a_n的三维坐标；

(2)用陀螺仪数据将当前帧特征点A匹配到下一帧对应位置，利用陀螺仪数据匹配时，给定t_d不同的值，则得出n个运动匹配点b₁、b₂……b_n，其中b_n＝(x',y',z')^T，上式中x＇，y＇，z＇分别为特征点b_n的三维坐标；

(3)计算视频匹配点a_n与运动匹配点b_n之间的距离平方和S_n，

s(a_n,b_n)表示对应的视频匹配点a_n与运动匹配点b_n之间的距离，

使得S_n值最小时的t_d值，即为校准值；

(4)陀螺仪测量的是物体绕三轴旋转的角速度w＝(w_x,w_y,w_z)，将其乘以时间Δt转换成其角度值r＝(r_x,r_y,r_z)，旋转角度θ＝norm(r)，将角度值r归一化，得其转轴的单位向量k＝r/θ，陀螺仪测得的旋转向量用旋转矩阵的形式表示为

R(θ)＝I+sinθS_k+(1-cosθ)S_k ²，

式中，S_k是单位向量k的反对称矩阵，表示为

k是一个矩阵，k₁，k₂，k₃分别是他们的三个元素，

k＝R/θ＝(r_x/θ，r_y/θ，r_z/θ)＝(k₁，k₂，k₃)，

I为3×3的单位矩阵；

将每一帧视频中的陀螺仪测得的每一组物体绕三轴旋转的角速度分别利用罗德里格旋转公式转换为其相应的旋转矩阵R(θ)，然后将每一帧的数个旋转矩阵R(θ)通过相乘融合，最后生成代表每一帧的旋转矩阵R，综合视频各帧的旋转矩阵R，形成随时间变换的视频帧序列的旋转矩阵序列R(t)，旋转矩阵序列为相机运动轨迹。

进一步的，所述平滑处理的具体步骤如下：

(1)在黎曼几何的流形基础上，直接平滑旋转矩阵序列R(t)，最短测地线的长度为

d_g(R_i,R_j)＝||logm(R_i ^TR_j)||_F，

其中，logm ( ) 是矩阵对数运算符，|| ||_F 是矩阵的F范数，

R_i、R_j分别表示旋转矩阵序列R(t)中的第i帧旋转矩阵和第j帧旋转矩阵；

(2)按照黎曼流形架构，定义旋转矩阵序列R(t)的平滑度为相邻旋转矩阵R的测地距离的总和，描述上述要求的目标函数为

其中，R_i'表示第i帧平滑后的平滑旋转矩阵，

a为控制稳定轨迹平滑的权重因子，R′_i+1表示第i+1帧平滑后的新的旋转矩阵；

通过黎曼流形约束平滑算法迭代求使得目标函数最小的那个平滑旋转矩阵R_i'，即得到平滑后的平滑旋转矩阵序列R'(t)，R'(t)为平滑相机运动轨迹。

进一步的，所述稳像处理的具体步骤如下：

(1)首先将视频帧采样时间与陀螺仪采样时间校准，校准式为

t_b'＝t_b+t_d，

式中，t_b为视频初始帧采样时间，

t_b'为与陀螺仪数据校准后的视频帧起始时间；

(2)视频帧内旋转矩阵R”(t₃)，其中t₃代表第三帧，视频帧第i行对应的时间戳为

t_i＝t_b'+t_s×(i/h)，

式中，t_s表示一帧中从上到下逐行扫描曝光的时间，h表示视频帧总行数；

通过对比校准之后的视频帧每一行的时间戳与陀螺仪数据时间戳，确定用于生成每一行像素坐标旋转矩阵所对应的陀螺仪数据组；设f(1)+t_d为校准后的第一帧视频时间戳、f(2)+t_d为校准后的第二帧视频时间戳、每一行视频时间戳分别标注为t′₀、t′₁、t′₂……、g(n)表示第n组陀螺仪数据时间戳，确定视频帧每一行对应的idxa-idxb组陀螺仪数据，从而生成代表每一行运动的帧内旋转矩阵R”(t₃)，将获取的帧内每一行的旋转矩阵与其所在帧的帧间旋转矩阵融合，获取各行的像素点位置的对应关系

x₂＝KR′(t₂)R′(t₁)R″(t₃)K^-1x₁，

式中，x₁为未稳像视频的像素x坐标，

x₂为稳像视频像素x坐标，

R′(t₁)表示t₁时平滑后的新旋转矩阵，

R′(t₂)表示t₂时平滑后的新旋转矩阵；

(3)设视频帧图像宽w＇、高h，将视频帧图像各像素点坐标二维网格化表示，以图像左下角像素点为坐标原点，则图像像素点的网格化坐标的横坐标值X，纵坐标值Y分别为：

其中，X和Y都是h行w＇列，

通过下式

对视频图像帧进行逐行的坐标转换，使网格化图像像素坐标[X_i,Y_i]^T转换得到旋转变换后的坐标位置

式中，f( )函数的作用是将齐次坐标转为非齐次坐标表示；

(4)将网格化图像像素坐标[X_i,Y_i]^T反转换回原始相机拍摄的原视频帧像素点坐标处，根据未处理前的原始视频帧的像素坐标与像素值之间的对应关系，插值求出稳定后的视频帧的像素坐标对应未处理前的原始视频帧的像素值得到视频帧序列。

进一步的，插值之后的新的视频帧序列，经过裁边消除黑边效应后，利用videowriter函数存入一个新的视频对象中，形成最终的稳像视频。

本发明的用于微纳卫星的视频稳像方法，该方法在利用搭建好的微纳卫星平台上，仅使用一种姿态传感器陀螺仪，利用其获取的物理信息，结合微小相机拍摄的视频信息，对抖动的视频进行处理，实现稳像；仅使用陀螺仪进行视频稳像，更符合微纳卫星在质量、体积、成本、功耗等方面的严格要求。

附图说明

图1为本发明的一种用于微纳卫星的视频稳像方法的流程示意图；

图2为本发明中的校准陀螺仪和相机时间延迟算法示意图；

图3为本发明中的SIFT匹配相邻帧特征点效果图；

图4为本发明中的陀螺仪采样率和视频帧率之间的关系图；

图5为本发明中的视频帧的二维网格化图像示意图；

图6为本发明中的稳定后视频帧与原始视频帧对比示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

参照图1，为本发明的一种用于微纳卫星的视频稳像方法的流程示意图；该视频稳像方法为：通过相机获取景物的视频信息，通过陀螺仪获取相机运动信息；然后将视频信息和相机运动信息进行融合处理得到相机运动轨迹，再通过平滑算法对相机运动轨迹进行平滑处理得到平滑相机运动轨迹，最后利用平滑相机运动轨迹对视频信息进行稳像处理得到稳像视频。

融合处理的具体步骤如下：

(1)在视频信息中，通过SIFT特征点提取算法提取n个当前帧特征点，然后通过SIFT匹配算法寻找当前帧特征点在下一帧中的视频匹配点，得到 n个视频匹配点a_n＝(x,y,z)^T，其中x，y，z分别代表了特征点a_n的三维坐标。

(2)用陀螺仪数据将当前帧特征点A匹配到下一帧对应位置，利用陀螺仪数据匹配时，给定t_d不同的值，则得出n个运动匹配点b₁、b₂……b_n，其中b_n＝(x',y',z')^T，上式中x＇，y＇，z＇分别为特征点b_n的三维坐标；

(3)计算视频匹配点a_n与运动匹配点b_n之间的距离平方和S_n

s(a_n,b_n)表示对应的视频匹配点a_n与运动匹配点b_n之间的距离，

使得S_n最小时的t_d值，即为校准值，如图2、图3所示。

(4)陀螺仪测量的是物体绕三轴旋转的角速度w＝(w_x,w_y,w_z)，将其乘以时间Δt转换成其角度值r＝(r_x,r_y,r_z)，由于旋转向量的长度(模)即表示绕轴旋转的角度，则旋转角度θ＝norm(r)，将角度值r归一化，得其转轴的单位向量k＝r/θ，陀螺仪测得的旋转向量用旋转矩阵的形式表示为

R(θ)＝I+sinθS_k+(1-cosθ)S_k ²，

式中，S_k是单位向量k的反对称矩阵，表示为

k是一个矩阵，k₁，k₂，k₃分别是他们的三个元素，

k＝R/θ＝(r_x/θ，r_y/θ，r_z/θ)＝(k₁，k₂，k₃)，

I为3×3的单位矩阵；

Android系统中陀螺仪的采样率往往要高于视频帧率，所以每一帧视频中可能包含有多组陀螺仪数据，如图4所示。将每一帧视频中的陀螺仪测得的每一组物体绕三轴旋转的角速度分别利用罗德里格旋转公式转换为其相应的旋转矩阵R(θ)，然后将每一帧的数个旋转矩阵R(θ)通过相乘融合，最后生成代表每一帧的旋转矩阵R，综合视频各帧的旋转矩阵R，形成随时间变换的视频帧序列的旋转矩阵序列R(t)，旋转矩阵序列R(t)为相机运动轨迹。

平滑处理的具体步骤如下：

在视频稳像中，相机运动轨迹的抖动是导致最终视频成像抖动模糊的根本原因，所以，平滑相机的运动轨迹是去除视频抖动的核心，且平滑效果的好坏直接影响着稳像的最终质量。

(1)已知直线的概念是指切矢量方向不变的线，对于黎曼几何，最短测地线则定义为，假若一条曲线上的切矢量关于曲线自身是平行移动的，则此曲线称为最短测地线。在黎曼几何的流形基础上，直接平滑旋转矩阵序列R(t)，最短测地线的长度为

d_g(R_i,R_j)＝||logm(R_i ^TR_j)||_F，

其中，logm ( ) 是矩阵对数运算符，|| ||_F 是矩阵的F范数，

R_i、R_j分别表示旋转矩阵序列R(t)中的第i帧旋转矩阵和第j帧旋转矩阵。

(2)按照黎曼流形架构，定义旋转矩阵序列R(t)的平滑度为相邻旋转矩阵R的测地距离的总和，且同时需保证，在尽可能平滑的情况下，使得平滑之后的相机运动轨迹不会脱离原运动轨迹太多，描述上述要求的目标函数为

其中，R_i'表示第i帧平滑后的平滑旋转矩阵，

α为控制稳定轨迹平滑的权重因子，R′_i+1表示第i+1帧平滑后的新的旋转矩阵；

通过黎曼流形约束平滑算法迭代求使得目标函数最小的那个平滑旋转矩阵R_i'，即得到平滑后的平滑旋转矩阵序列R'(t)，R'(t)为平滑相机运动轨迹；

稳像处理的具体步骤如下：

(1)首先将视频帧采样时间与陀螺仪采样时间校准，校准式为

t_b'＝t_b+t_d，

式中，t_b为视频初始帧采样时间，

t_b'为与陀螺仪数据校准后的视频帧起始时间；

(2)视频帧内旋转矩阵R”(t₃)，

视频帧第i行对应的时间戳为

t_i＝t_b'+t_s×(i/h)，

式中，t_s表示一帧中从上到下逐行扫描曝光的时间，

h表示视频帧总行数；

通过对比校准之后的视频帧每一行的时间戳与陀螺仪数据时间戳，确定用于生成每一行像素坐标旋转矩阵所对应的陀螺仪数据组；设f(1)+t_d为校准后的第一帧视频时间戳、f(2)+t_d为校准后的第二帧视频时间戳、每一行视频时间戳分别标注为t′₀、t′₁、t′₂……、g(n)表示第n组陀螺仪数据时间戳，确定视频帧每一行对应的idxa-idxb组陀螺仪数据，从而生成代表每一行运动的帧内旋转矩阵R”(t₃)，将获取的帧内每一行的旋转矩阵与其所在帧的帧间旋转矩阵融合，获取各行的像素点位置的对应关系

x₂＝KR′(t₂)R′(t₁)R″(t₃)K^-1x₁，

式中，x₁为未稳像视频的像素x坐标，

x₂为稳像视频像素x坐标，

R′(t₁)表示t₁时平滑后的新旋转矩阵，

R′(t₂)表示t₂时平滑后的新旋转矩阵；

(3)设视频帧图像宽w＇、高h，将视频帧图像各像素点坐标二维网格化表示，以图像左下角像素点为坐标原点，则图像像素点的网格化坐标的横坐标值X，纵坐标值Y分别为

其中，X和Y都是h行w＇列，

通过下式

对视频图像帧进行逐行的坐标转换，使网格化图像像素坐标[X_i,Y_i]^T转换得到旋转变换后的坐标位置

式中，f( )函数的作用是将齐次坐标转为非齐次坐标表示；

(4)将网格化图像像素坐标[X_i,Y_i]^T反转换回原始相机拍摄的原视频帧像素点坐标处，根据未处理前的原始视频帧的像素坐标与像素值之间的对应关系，插值求出稳定后的视频帧的像素坐标对应未处理前的原始视频帧的像素值得到视频帧序列；

插值之后的新的视频帧序列，经过裁边消除黑边效应后，利用video writer函数存入一个新的视频对象中，形成最终的稳像视频。

如图6左图所示，点A(1，1)、B(2，2)、C(0，3)分别为稳定后视频帧上三个像素点，其各自对应的像素值为P_A、P_B、P_C。由记录而来的陀螺仪数据，依据式做对应的变换，将稳定后视频图经过一定旋转后生成原始相机拍摄的未做处理前的视频帧位置，如图 6中虚线部分所示。其中A→A′、B→B′、C→C′，则根据未处理前的原始视频帧像素坐标与像素值之间的对应关系，插值求出稳定后的视频帧的像素坐标对应未处理前的原始视频帧的像素值，也就是将A’、B’、C’处的像素值直接赋值给A、B、C，从而求得稳定后视频帧各点的像素值。需要说明的是，稳定后的视频帧在未处理前的原始视频帧有些有对应的像素值，有些则没有，如像素点C所示，此种情况会形成黑边效应，后期需要裁边消除。

发明的用于微纳卫星的视频稳像方法，该方法在利用搭建好的微纳卫星平台上，仅使用一种姿态传感器陀螺仪，利用其获取的物理信息，结合微小相机拍摄的视频信息，对抖动的视频进行处理，实现稳像；仅使用陀螺仪进行视频稳像，更符合微纳卫星在质量、体积、成本、功耗等方面的严格要求。

尽管以上结合附图对本发明的实施方案进行了描述，但是本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在说明书的启示下，在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (4)

1.一种用于微纳卫星的视频稳像方法，其特征在于：通过相机获取景物的视频信息，通过陀螺仪获取相机运动信息；然后将视频信息和相机运动信息进行融合处理得到相机运动轨迹，再通过平滑算法对相机运动轨迹进行平滑处理得到平滑相机运动轨迹，最后利用平滑相机运动轨迹对视频信息进行稳像处理得到稳像视频；

所述融合处理的具体步骤如下：

(1)在视频信息中，通过SIFT特征点提取算法提取n个当前帧特征点，然后通过SIFT匹配算法寻找当前帧特征点在下一帧中的视频匹配点，得到n个视频匹配点a_n＝(x,y,z)^T,其中x，y，z分别代表了特征点a_n的三维坐标；

(2)用陀螺仪数据将当前帧特征点A匹配到下一帧对应位置，利用陀螺仪数据匹配时，给定t_d不同的值，则得出n个运动匹配点b₁、b₂……b_n，其中b_n＝(x',y',z')^T，上式中x＇，y＇，z＇分别为特征点b_n的三维坐标；

(3)计算视频匹配点a_n与运动匹配点b_n之间的距离平方和S_n，

s(a_n,b_n)表示对应的视频匹配点a_n与运动匹配点b_n之间的距离，

使得S_n值最小时的t_d值，即为校准值；

(4)陀螺仪测量的是物体绕三轴旋转的角速度w＝(w_x,w_y,w_z)，将其乘以时间转换成其角度值r＝(r_x,r_y,r_z)，旋转角度θ＝norm(r)，将角度值r归一化，得其转轴的单位向量k＝r/θ，陀螺仪测得的旋转向量用旋转矩阵的形式表示为

R(θ)＝I+sinθS_k+(1-cosθ)S_k ²，

式中，S_k是单位向量k的反对称矩阵，表示为

k是一个矩阵，k₁，k₂，k₃分别是他们的三个元素，

k＝r/θ＝(r_x/θ，r_y/θ，r_z/θ)＝(k₁，k₂，k₃)，

I为3×3的单位矩阵；

将每一帧视频中的陀螺仪测得的每一组物体绕三轴旋转的角速度分别利用罗德里格旋转公式转换为其相应的旋转矩阵R(θ)，然后将每一帧的数个旋转矩阵R(θ)通过相乘融合，最后生成代表每一帧的旋转矩阵R，综合视频各帧的旋转矩阵R，形成随时间变换的视频帧序列的旋转矩阵序列R(t)，旋转矩阵序列为相机运动轨迹。

2.如权利要求1所述的一种用于微纳卫星的视频稳像方法，其特征在于：所述平滑处理的具体步骤如下：

(1)在黎曼几何的流形基础上，直接平滑旋转矩阵序列R(t)，最短测地线的长度为

d_g(R_i,R_j)＝||logm(R_i ^TR_j)||_F，

其中，logm( )是矩阵对数运算符，|| ||_F 是矩阵的F范数，

R_i、R_j分别表示旋转矩阵序列R(t)中的第i帧旋转矩阵和第j帧旋转矩阵；

(2)按照黎曼流形架构，定义旋转矩阵序列R(t)的平滑度为相邻旋转矩阵R的测地距离的总和，描述上述要求的目标函数为

其中，R_i'表示第i帧平滑后的平滑旋转矩阵，

a为控制稳定轨迹平滑的权重因子，R′_i+1表示第i+1帧平滑后的新的旋转矩阵；

通过黎曼流形约束平滑算法迭代求使得目标函数最小的那个平滑旋转矩阵R_i'，即得到平滑后的平滑旋转矩阵序列R'(t)，R'(t)为平滑相机运动轨迹。

3.如权利要求2所述的一种用于微纳卫星的视频稳像方法，其特征在于：所述稳像处理的具体步骤如下：

(1)首先将视频帧采样时间与陀螺仪采样时间校准，校准式为

t_b'＝t_b+t_d，

式中，t_b为视频初始帧采样时间，

t_b'为与陀螺仪数据校准后的视频帧起始时间；

(2)视频帧内旋转矩阵R”(t₃)，

视频帧第i行对应的时间戳为

t_i＝t_b'+t_s×(i/h)，

式中，t_s表示一帧中从上到下逐行扫描曝光的时间，h表示视频帧总行数；

通过对比校准之后的视频帧每一行的时间戳与陀螺仪数据时间戳，确定用于生成每一行像素坐标旋转矩阵所对应的陀螺仪数据组；设f(1)+t_d为校准后的第一帧视频时间戳、f(2)+t_d为校准后的第二帧视频时间戳、每一行视频时间戳分别标注为t′₀、t′₁、t′₂……、g(n)表示第n组陀螺仪数据时间戳，确定视频帧每一行对应的idxa-idxb组陀螺仪数据，从而生成代表每一行运动的帧内旋转矩阵R”(t₃)，将获取的帧内每一行的旋转矩阵与其所在帧的帧间旋转矩阵融合，获取各行的像素点位置的对应关系

x₂＝KR′(t₂)R′(t₁)R″(t₃)K^-1x₁，

式中，x₁为未稳像视频的像素x坐标，

x₂为稳像视频像素x坐标，

R′(t₁)表示t₁时平滑后的新旋转矩阵，

R′(t₂)表示t₂时平滑后的新旋转矩阵；

(3)设视频帧图像宽w＇、高h，将视频帧图像各像素点坐标二维网格化表示，以图像左下角像素点为坐标原点，则图像像素点的网格化坐标的横坐标值X，纵坐标值Y分别为：

其中，X和Y都是h行w＇列，

通过下式

对视频图像帧进行逐行的坐标转换，使网格化图像像素坐标[X_i,Y_i]^T转换得到旋转变换后的坐标位置

式中，f( )函数的作用是将齐次坐标转为非齐次坐标表示；

(4)将网格化图像像素坐标[X_i,Y_i]^T反转换回原始相机拍摄的原视频帧像素点坐标处，根据未处理前的原始视频帧的像素坐标与像素值之间的对应关系，插值求出稳定后的视频帧的像素坐标对应未处理前的原始视频帧的像素值得到视频帧序列。

4.如权利要求3所述的一种用于微纳卫星的视频稳像方法，其特征在于：插值之后的新的视频帧序列，经过裁边消除黑边效应后，利用video writer函数存入一个新的视频对象中，形成最终的稳像视频。