CN101231456B - 利用角度传感器纠正全景视频抖动的方法 - Google Patents

Abstract

一种利用角度传感器纠正全景视频采集抖动的方法，其步骤为：(1)在视频采集前，先使用角度传感器获取一个初始旋转角度信息；(2)在视频采集过程中，角度传感器与视频采集装置同步运动，每采一帧全景视频都获取所采这帧的旋转角度信息；(3)如果全景视频采集装置发生抖动或旋转，计算出当前所采的视频帧的旋转角度信息与初始旋转角度信息的差值；(4)利用这个旋转角度信息的差值对当前所采的视频帧进行纠正，实现全景视频采集装置视频抖动的处理。本发明的方法在采集全景视频的过程中，可以有效地消除因采集装置偏离和旋转所引起的视频抖动。

Description

利用角度传感器纠正全景视频抖动的方法

技术领域

本发明涉及全景视频技术领域，更具体地讲，涉及一种利用角度传感器纠正全景视频抖动的方法。

背景技术

全景图像是使用在某一点拍摄的多幅实景图像拼接而成的。具体的生成过程是：将反映各自投影平面的相互重叠图像映射到简单的几何体表面上，如球面、立方体表面或圆柱面，使得平面图像具有深度感，然后对投影图像进行无缝拼接，就可得到没有图像畸变的全景图像。当用户观察某一图像空间时，要将全景图像中相应部分反投影到观察平面上，给用户产生正确的观察结果。全景图像为用户提供了极大的观察自由度，使之可以任意地改变观察方向。全景视频是由具有一些有时间关联的全景图像序列组成，从视频中可以获取真实的全景景象，并且可以通过时间来定位视频帧。

在全景视频的采集过程中，采集设备的抖动或旋转会引起全景视频的抖动，所以需要对全景视频进行纠正。目前，视频纠正的方法主要是特征法和光流法。特征法在提取每帧图像的特征点的基础上，在相邻帧之间进行特征匹配，然后根据匹配的结果计算摄像机的全局运动参数，最后用滤波后的全局运动变换对原始序列进行补偿。光流法首先计算相邻帧之间的光流，然后根据光流信息，通过运动分析获得全局运动参数，随后也是根据滤波后的运动参数来补偿原始序列。这两种方法通常需要对视频进行后期处理，实时性差。所以，本发明提出一种利用角度传感器对视频进行纠正的方法。在本发明前，中国发明专利“拍摄全景照片的设备和方法”，申请号：200710084741.2，公开号：CN101046623，提出了一种利用角速度计辅助拍摄全景照片的方法，该方法使用角速度计，利用角速度计采集的水平和垂直两个方向的角速度，辅助同一个位置采集的多个照片拼接，实现全景照片拼接时相邻照片的重叠部分对准。该专利提出的方法主要适用于同一个位置的多个照片的全景合成。美国专利“Maintenance of panoramic camera orientation”，公开号：20060023075，提出了一种保持非柱面全景主方向的方法，该方法使用磁力计，利用全景采集设备与地磁的夹角，保持非柱面全景图像的主方向不变。该方法并不涉及对图像序列的抖动纠正。

因此，本发明提出了一种利用角度传感器对全景视频抖动进行纠正的方法，能够纠正因采集设备偏离和旋转所引起视频抖动。

发明内容

本发明的目的是：克服现有技术的不足，提供一种利用角度信息对球面全景视频纠正方法，该方法在采集全景视频的过程中，可以有效地消除因采集装置偏离和旋转所引起的视频抖动。

为了实现上述目的，本发明所采取的技术方案是：一种利用角度传感器纠正全景视频采集抖动的方法，步骤如下：

(1)在视频采集前，先使用角度传感器获取一个初始旋转角度信息；

(2)在视频采集过程中，角度传感器与全景视频采集装置同步运动，每采一帧全景视频都获取所采这帧的旋转角度信息；

(3)如果全景视频采集装置发生抖动或旋转，计算出当前所采的视频帧的旋转角度信息与初始旋转角度信息的差值；

(4)利用这个旋转角度信息的差值对当前所采的视频帧进行纠正，实现全景视频采集装置视频抖动的处理。

本发明的原理：使用角度传感器获得全景视频采集装置的初始角度信息，在采集过程中角度传感器与视频采集装置同步运动，获取视频采集装置的当前角度信息，如果全景视频采集装置发生抖动或旋转，利用当前角度信息和初始角度信息之间的旋转角度差值对采集的全景视频进行纠正，处理视频的抖动。

上述过程第四步所利用的角度信息的差值包括roll、pitch和yaw三个自由度上的旋转角度差值。因此，上述过程第四步对视频帧的纠正是对视频帧分别进行三个自由度上的纠正。对视频帧进行纠正的基本思想是：如果在某个自由度上有差值出现，则在该自由度上对球面全景帧进行反向旋转变换。假设：[x y z]是球面全景帧上的像素坐标，[x′y′z′]是旋转纠正后的像素坐标，δ_roll、δ_yaw、δ_pitch分别表示旋转角度差值在roll、pitch和yaw三个自由度上的分量。

对roll上的偏差进行纠正，其反向旋转变换如公式(1)所示。

$\left[\begin{array}{cccc}{x}^{\text{'}}& y^{\text{'}}& z^{\text{'}}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos (-{\mathrm{\δ}}_{\mathrm{roll}})& \sin (-{\mathrm{\δ}}_{\mathrm{roll}})& 0\\ 0& -\sin (-{\mathrm{\δ}}_{\mathrm{roll}})& \cos (-{\mathrm{\δ}}_{\mathrm{roll}})& 0\\ 0& 0& 0& 1\end{array}\right]---\left(1\right)$

对pitch上的偏差进行纠正，其反向旋转变换如公式(2)所示。

$\left[\begin{array}{cccc}{x}^{\text{'}}& y^{\text{'}}& z^{\text{'}}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}\cos (-{\mathrm{\δ}}_{\mathrm{pitch}})& \sin (-{\mathrm{\δ}}_{\mathrm{pitch}})& 0& 0\\ -\sin (-{\mathrm{\δ}}_{\mathrm{pitch}})& \cos (-{\mathrm{\δ}}_{\mathrm{pitch}})& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]---\left(2\right)$

对yaw上的偏差进行纠正，其反向旋转变换如公式(3)所示。

$\left[\begin{array}{cccc}{x}^{\text{'}}& y^{\text{'}}& z^{\text{'}}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}\cos \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0& -\sin \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0\\ 0& 1& 0& 0\\ \sin \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0& \cos \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$

本发明与现有技术相比的优点在于：本发明提出了一种利用角度传感器纠正全景视频采集抖动的方法，根据角度传感器返回的采集装置的旋转角度信息，对球面全景帧分别进行roll、pitch和yaw三个自由度上的旋转变换因此能够在全景视频的采集过程中对采集装置偏离和旋转所引起的视频抖动进行纠正，从而保证采集到的视频的质量。

附图说明

图1为本发明利用角度传感器纠正全景视频采集的原理示意图；

图2为本发明方法的流程图；

图3为本发明利用旋转角度差值纠正全景视频的原理图。

具体实施方式

如图1所示，本发明中角度传感器1获得全景视频采集装置2的初始角度信息3。在采集过程中，角度传感器1与全景视频采集装置2同步运动，获取全景视频采集装置2的当前角度信息4，如果全景视频采集装置2发生抖动或旋转，当前角度信息4和初始角度信息3之间就会出现旋转角度差值5，利用旋转角度差值5对采集的全景视频进行纠正，处理视频的抖动。

如图2所示，本发明的全景视频纠正方法的流程图，其步骤如下：

(1)采集开始。球面全景视频采集装置2和角度传感器1同时开始工作。球面全景视频采集装置2按照预先设定的帧速开始采集视频，直到采集结束。

(2)步骤(1)完成以后，角度传感器1获取全景视频采集装置2的初始角度信息3。

(3.1)步骤(2)完成以后，角度传感器1采集全景视频采集装置2的当前角度信息4。

(3.2)步骤(3.1)完成以后，计算角度传感器1的当前角度信息4与初始角度信息3的旋转角度差值5，该差值由旋转度roll、纬度pitch、经度yaw三个自由度上的旋转角度差值组成。

(3.3)步骤(3.2)完成以后，利用步骤(3.2)所计算出的旋转角度差值5对球面全景视频帧进行纠正。

重复步骤(3.1)、(3.2)和(3.3)，对采集的每一帧全景视频都进行上述纠正处理，直到采集结束。

图3是本发明利用旋转角度差值纠正球面全景视频的原理图。对视频帧进行纠正的基本思想是：如果在某个自由度上有旋转角度差值出现，则在该自由度上对球面全景帧进行反向旋转变换。[x y z]是全景视频帧采集装置2上的像素坐标，[x′y′z′]是旋转纠正后的像素坐标，δ_roll、δ_yaw、δ_pitch分别表示当前旋转角度与初始旋转角度的差值在roll、pitch和yaw三个自由度上的分量。

对roll上的偏差进行纠正，其反向旋转变换如公式(1)所示。

$\left[\begin{array}{cccc}{x}^{\text{'}}& y^{\text{'}}& z^{\text{'}}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos (-{\mathrm{\δ}}_{\mathrm{roll}})& \sin (-{\mathrm{\δ}}_{\mathrm{roll}})& 0\\ 0& -\sin (-{\mathrm{\δ}}_{\mathrm{roll}})& \cos (-{\mathrm{\δ}}_{\mathrm{roll}})& 0\\ 0& 0& 0& 1\end{array}\right]---\left(1\right)$

对pitch上的偏差进行纠正，其反向旋转变换如公式(2)所示。

$\left[\begin{array}{cccc}{x}^{\text{'}}& y^{\text{'}}& z^{\text{'}}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}\cos (-{\mathrm{\δ}}_{\mathrm{pitch}})& \sin (-{\mathrm{\δ}}_{\mathrm{pitch}})& 0& 0\\ -\sin (-{\mathrm{\δ}}_{\mathrm{pitch}})& \cos (-{\mathrm{\δ}}_{\mathrm{pitch}})& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]---\left(2\right)$

则对yaw上的偏差进行纠正，其反向旋转变换如公式(3)所示。

$\left[\begin{array}{cccc}{x}^{\text{'}}& y^{\text{'}}& z^{\text{'}}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}\cos \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0& -\sin \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0\\ 0& 1& 0& 0\\ \sin \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0& \cos \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$

最后所应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明利用角度信息对全景视频纠正原理的前提下，还可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围。

Claims (4)

1.一种利用角度传感器纠正全景视频采集抖动的方法，其特征在于步骤如下：

(1)在视频采集前，先使用角度传感器获取一个初始旋转角度信息；

(2)在视频采集过程中，角度传感器与全景视频采集装置同步运动，每采一帧全景视频都获取所采这帧的旋转角度信息；

(3)如果全景视频采集装置发生抖动或旋转，计算出当前所采的视频帧的旋转角度信息与初始旋转角度信息的差值；

(4)利用这个旋转角度信息的差值对当前所采的视频帧进行纠正，实现全景视频采集装置视频抖动的处理，所述处理视频的抖动的方法如下：

a.所述的角度传感器的初始角度信息和当前角度信息分别为三个自由度信息：旋转度roll、纬度pitch和经度yaw；

b.如果在上述三个自由度中某个自由度上有差值出现，则在该自由度上对全景帧进行反向旋转变换，从而进行视频抖动的处理。

2.根据权利要求1所述的利用角度传感器纠正全景视频采集抖动的方法，其特征在于：所述的当旋转度roll上有差值出现，则在该旋转度roll自由度上对全景帧进行反向旋转变换公式为：

$\left[\begin{array}{cccc}{x}^{\text{'}}& y^{\text{'}}& z^{\text{'}}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos (-{\mathrm{\δ}}_{\mathrm{roll}})& \sin (-{\mathrm{\δ}}_{\mathrm{roll}})& 0\\ 0& -\sin (-{\mathrm{\δ}}_{\mathrm{roll}})& \cos (-{\mathrm{\δ}}_{\mathrm{roll}})& 0\\ 0& 0& 0& 1\end{array}\right]---\left(1\right)$

其中：[x y z]是球面全景帧上的像素坐标，[x′y′z′]是旋转纠正后的像素坐标，δ_roll表示旋转角度差值在旋转度roll自由度上的分量。

3.根据权利要求1所述的利用角度传感器纠正全景视频采集抖动的方法，其特征在于：所述的当纬度pitch上有差值出现，则在该纬度pitch自由度上对全景帧进行反向旋转变换公式为：

$\left[\begin{array}{cccc}{x}^{\text{'}}& y^{\text{'}}& z^{\text{'}}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}\cos (-{\mathrm{\δ}}_{\mathrm{pitch}})& \sin (-{\mathrm{\δ}}_{\mathrm{pitch}})& 0& 0\\ -\sin (-{\mathrm{\δ}}_{\mathrm{pitch}})& \cos (-{\mathrm{\δ}}_{\mathrm{pitch}})& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]---\left(2\right)$

其中：[x y z]是全景帧上的像素坐标，[x′y′z′]是旋转纠正后的像素坐标，δ_pitch表示旋转角度差值在纬度pitch自由度上的分量。

4.根据权利要求1所述的利用角度传感器纠正全景视频采集抖动的方法，其特征在于：所述的当经度yaw上有差值出现，则在该经度yaw自由度上对全景帧进行反向旋转变换公式为：

$\left[\begin{array}{cccc}{x}^{\text{'}}& y^{\text{'}}& z^{\text{'}}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}\cos \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0& -\sin \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0\\ 0& 1& 0& 0\\ \sin \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0& \cos \left({-\mathrm{\δ}}_{\mathrm{yaw}}\right)& 0\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$

其中：[x y z]是球面全景帧上的像素坐标，[x′y′z′]是旋转纠正后的像素坐标，δ_yaw表示旋转角度差值在经度yaw自由度上的分量。

Images