CN105635588A - 一种稳像方法及装置 - Google Patents

Abstract

本发明公开了一种稳像方法及装置，所述方法包括：通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据；将所述运动数据进行去噪处理；根据去噪处理后的运动数据对图像中的像点进行反向补偿,去除所述图像抖动。本发明实施例提供的稳像方法及装置，通过内置于成像装置的三轴陀螺仪获取成像装置拍摄时的运动数据，并根据运动数据对当前图像进行反向补偿。在无需增加额外硬件和拍摄图像效果不佳时，可以实现对视频进行稳像处理。提高了用户体验。

Description

一种稳像方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种稳像方法及装置。

背景技术

随着电子技术的快速发展，用户可以通过移动终端，例如，手机、平板电脑、数码相机和手持摄像机等等，进行视频拍摄，然而，在拍摄过程中，由于拍摄技巧、拍摄环境等因素影响可能会造成拍摄设备抖动，进而使得拍摄得到的视频存在画面不稳定的现象，影响用户正常观看，为此，需对这类视频进行稳像处理。

在现有技术中，可以采用硬件方案实现视频稳像，一般采用为拍摄设备添加物理增稳云台的技术方案，实现补偿各个方向的相机抖动的技术效果。硬件方案的优点是稳定性高，稳像效果好，缺点是价格高，功耗高，体积大。

此外，也可以通过软件方案进行视频稳像处理。一般采用提取并跟踪视频帧中图像特征，获得目标视频中相邻帧之间的相关性，利用所获得相关性对目标视频中的各帧进行稳像处理，之后再进行视频编码。由上述方式可见，在编码阶段进行稳像处理时，虽然对拍摄端的硬件没有特殊要求，但是受限于图像技术的缺陷(对光照，运动场景敏感)很难准确恢复出相机的运动，导致稳像精度低，效果不稳定。并且由于视频帧的数据量较大，获得目标视频中相邻帧之间的相关性时，所需内存等资源较高。

发明内容

有鉴于此，本发明实施例提供一种稳像方法及装置，以解决视频画面不稳定的问题。

第一方面，本发明实施例提供了一种稳像方法，所述方法包括：

通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据；

将所述运动数据进行去噪处理；

根据去噪处理后的运动数据对图像中的像点进行反向补偿,去除所述图像抖动。

第二方面，本发明实施例还提供了一种稳像装置，所述装置包括：

运动数据获取模块，用于通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据；

去噪模块，用于将所述运动数据进行去噪处理；

反向补偿模块，用于根据去噪处理后的运动数据对图像中的像点进行反向补偿,去除图像抖动。

本发明实施例提供的稳像方法及装置，通过内置于成像装置的三轴陀螺仪获取成像装置拍摄时的运动数据，并根据去噪后的运动数据对当前图像进行反向补偿。在无需增加额外硬件和拍摄图像效果不佳时，可以实现对视频进行稳像处理，提高了用户体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例一提供的稳像方法的流程示意图；

图2是本发明实施例一提供的稳像方法中成像装置的成像原理示意图；

图3是本发明实施例二提供的稳像方法的流程示意图；

图4是本发明实施例三提供的稳像方法的流程示意图；

图5是本发明实施例四提供的稳像装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1为本发明实施例一提供的稳像方法的流程图，本实施例可适用于采用成像装置拍摄视频的情况，该方法可以由稳像装置来执行，该装置可由软件/硬件方式实现，并可集成于成像装置中。

参见图1，所述稳像方法，包括：

S110，通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据。

在使用成像装置拍摄视频时，由于拍摄过程中成像装置运动包含了大量的随机抖动，从而引起视频图像画面的抖动。由于一般拍摄的物体距离成像装置较远，主要的视频抖动是由成像装置的旋转运动带来的，所以在本实施例中，所述的运动数据为旋转角度。在成像装置内设置有三轴陀螺仪，三轴陀螺仪可以同时测定6个方向的位置、移动轨迹及加速度。根据移动轨迹及瞬时加速度，可以计算得到成像装置每一时刻在三轴方向上的旋转角度。

S120，将所述运动数据进行去噪处理。

由于成像装置运动中包含了大量的随机抖动，从而引起视频图像画面的抖动。只有去除随机抖动，并对图像画面进行反向补偿才能得到稳定的视频图像。可以将随机抖动视作成像装置运动的噪声，采用相应的去噪算法即可去除随机抖动。具体的，将随机抖动噪声近似视作高斯分布，对所获取的运动数据进行高斯平滑，进而可以得到成像装置稳定的运动数据。示例性的，可以采用如下公式对运动数据进行去噪：

${\mathrm{\ω}}^{\′}\left(t_c\right)=\underset{i=-l}{\overset{l}{\Σ}}p\left(i\right)*\mathrm{\ω}\left(t_{c+i}\right),$

其中，l为平滑半径；ω′(t_c)为去噪处理后的运动数据，在本实施例中，相当于成像装置利用高斯平滑去噪处理后的旋转角度；p(i)为高斯平滑函数，σ为分布参数。ω(t_c+i)为t_c+i时刻获取的运动数据。

S130，根据去噪处理后的运动数据对图像中的像点进行反向补偿,去除所述图像抖动。

图2是本发明实施例一提供的稳像方法中成像装置的成像原理示意图。如图2所示，一般的成像原理可以视作为小孔成像，并可以将成像装置坐标系统设置为与物理世界坐标系统中心重合且平行。M为三维场景中物点，m为其在像平面上的投影点，C是成像装置中心，(o_x,o_y)为成像装置光轴与像平面的交点，f是成像装置的焦距。物点经过成像装置反向投射到像平面上，形成相应的像点m,其成像过程可以用下式来表示:

m＝K*M(1)，其中，K为成像装置的内参矩阵。

在已知像点m的位置时，可以将公式(1)进行逆变换

得到公式:

M＝K^-1*m(2)，其中，K^-1为成像装置的内参逆矩阵。

具体的，K^-1可以由如下矩阵表达：

$K^{-1}=\left[\begin{array}{ccc}1& 0& -o_x\\ 0& 1& -o_y\\ 0& 0& f\end{array}\right],$ 其中(o_x,o_y)和焦距f可由成像装置的产品参数说明中获取。也可根据上述矩阵计算得到K^-1的逆矩阵K。

在某一时刻，如果成像装置发生了旋转，其三维旋转角度为ω(t)＝(α,β,γ)，则相对于起始位置，x,y,z三个轴旋转矩阵分别为R(t)_x、R(t)_y和R(t)_z，其中：

$R{\left(t\right)}_x=\left[\begin{array}{ccc}1& 0& 0\\ 0& cos\left(\mathrm{\α}\right)& -sin\left(\mathrm{\α}\right)\\ 0& sin\left(\mathrm{\α}\right)& \cos \left(\mathrm{\α}\right)\end{array}\right];$

$R{\left(t\right)}_y=\left[\begin{array}{ccc}cos\left(\mathrm{\β}\right)& 0& sin\left(\mathrm{\β}\right)\\ 0& 1& 0\\ -sin\left(\mathrm{\β}\right)& 0& cos\left(\mathrm{\β}\right)\end{array}\right];$

$R{\left(t\right)}_z=\left[\begin{array}{ccc}cos\left(\mathrm{\γ}\right)& -sin\left(\mathrm{\γ}\right)& 0\\ sin\left(\mathrm{\γ}\right)& \cos \left(\mathrm{\γ}\right)& 0\\ 0& 0& 1\end{array}\right].$

可将上述三轴旋转矩阵合并表示为某一时刻旋转矩阵R(t)＝F(ω(t))＝R(t)_x*R(t)_y*R(t)_z。

因此，相应的物点M此时对应的像点m可表示为：m′＝K*R(t)*M(3)。

在已知某一时刻t₁成像装置的旋转矩阵为R(t₁)，在该时刻的后一时刻t₂成像装置的旋转矩阵为R(t₂)，某一物点M在时刻t₁的像点为m₁，在时刻t₂的像点为m₂，两者具备如下关系：

m₂＝K*R(t₂)*R^-1(t₁)*K^-1*m₁(4)。

从公式(4)可知，如果已知t₁和t₂时刻的旋转矩阵，可以对图像中的像点m进行处理，即反向补偿，消除由于成像装置运动所引起的图像中像点m的位置偏移。将角度ω(t)和ω′(t)转换为旋转矩阵R(t)与R′(t)。对于当前帧图像中的任一个像素位置，利用公式(4)计算新的像素位置。使当前帧图像能够消除随机抖动带来的位置偏差。并可利用上述方法对视频中的所有图像进行处理，实现视频稳像目的。

本发明实施例提供的稳像方法，通过内置于成像装置的三轴陀螺仪获取成像装置拍摄时的运动数据，并根据连续运动数据消除随机抖动影响。在无需增加额外硬件和拍摄图像效果不佳时，可以实现对视频进行稳像处理。提高了用户体验。

实施例二

图3为本发明实施例二提供的稳像方法的流程示意图。本实施例以上述实施例为基础进行优化，在本实施例中，在根据稳定的运动数据对图像中的像点进行反向补偿,使所述图像去除抖动后，增加如下步骤：对反向补偿后图像中的像点进行双线性插值，并将双线性插值后的数值作为所述像点的像素值。

相应的，本实施例所提供的稳像方法具体包括：

S210，通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据。

S220，将所述运动数据进行去噪处理。

S230，根据去噪处理后的运动数据对图像中的像点进行反向补偿，去除所述图像抖动。

S240，对反向补偿后图像中的像点进行双线性插值，并将双线性插值后的数值作为所述像点的像素值。

在对图像中的像点进行反向补偿后，可能会使得反向补偿后的图像产生轻微变形，产生微放大或者缩小的效果。在产生轻微变形时，一些反向补偿的像点会被忽略或者与其它像素点重合，使去除抖动后的图像像素点灰度值产生中断，影响图像的显示效果。为了消除反向补偿后的图像产生轻微变形，使得图像不连续的情况。在本实施例中，在根据稳定的运动数据对图像中的像点进行反向补偿,使所述图像去除抖动后，对反向补偿后图像中的像点进行双线性插值。双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。在本实施例中，获取每一个像素点的四个邻域像素点的灰度值，在图像X方向上进行线性插值后，又在图像Y方向上进行线性插值。计算得出该像素点的像素值。以此类推，对反向补偿后图像中的所有像点依次进行双线性插值，并将双线性插值后的数值作为所述像点的像素值。

本实施例通过在根据稳定的运动数据对图像中的像点进行反向补偿,使所述图像去除抖动后，增加如下步骤：对反向补偿后图像中的像点进行双线性插值，并将双线性插值后的数值作为所述像点的像素值。可以使反向补偿后的图像像素点灰度值连续,避免产生中断，影响图像的显示效果。

实施例三

图4为本发明实施例三提供的稳像方法的流程示意图。本实施例以上述实施例为基础进行优化，在本实施例中，在通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据之前，增加如下步骤：计算所述成像装置的最优成像矩阵参数，所述成像矩阵参数包括：所述成像装置的焦距及所述成像装置光轴与像平面的交点；并将根据去噪处理后的运动数据对图像中的像点进行反向补偿具体优化为：根据去噪处理后的运动数据和所述最优成像矩阵参数对图像中的像点进行反向补偿。

相应的，本实施例所提供的稳像方法具体包括：

S310,计算所述成像装置的最优成像矩阵参数，所述成像矩阵参数包括：所述成像装置的焦距及所述成像装置光轴与像平面的交点。

在对图像中的像点进行反向补偿时，需要根据成像装置的相应参数进行运算。一般来说，这些参数可以通过成像装置的系统参数确定。但在某些情况下这些参数是未知的，且每个成像装置的参数皆有细小的差别，所以需要利用实验对参数进行估计。需要估计的参数包括成像装置的成像矩阵参数，具体的，包括：所述成像装置的焦距及所述成像装置光轴与像平面的交点。

示例性的，可以采用如下方法计算：

利用成像装置对着细节丰富的场景拍摄一段视频，在拍摄过程中缓慢的转动成像装置，细节丰富的视频图像便于从视频图像中拾取特征明显的像素点。任取两相邻帧图像，从第一帧图像中提取特征点，并在第二帧图像中找到与其匹配的特征点。匹配的算法可以使用尺度不变特征转换(Scale-invariantfeaturetransform，SIFT)方法。根据像点在不同时刻的位置对应关系m₂＝K*R(t₂)*R^-1(t₁)*K^-1*m₁可以得出，图像中的特征点与相邻帧图像中匹配特征点在图像中的坐标存在着如下对应关系：

O＝||x₂-K*R(t₂)*R^-1(t₁)*K^-1*x₁||(7)。

理论上O应该等于0，但是在计算过程中由于误差的存在，O一般趋近于0。使公式(7)值为最小的参数(o_x,o_y,f)即为满足该方程的最优解。公式(7)描述的是一个非线性的最优化问题，可以使用常见的非线性优化器来求满足目标函数(7)的最优化解，例如可以使用梯度下降迭代求解。

S320，通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据。

S330，将所述运动数据进行去噪处理。

S340，根据去噪处理后的运动数据和所述最优成像矩阵参数对图像中的像点进行反向补偿,去除所述图像抖动。

本实施例在通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据之前，增加如下步骤：计算所述成像装置的最优成像矩阵参数，所述成像矩阵参数包括：所述成像装置的焦距及所述成像装置光轴与像平面的交点。并将根据去噪处理后的运动数据对图像中的像点进行反向补偿具体优化为：根据去噪处理后的运动数据和所述最优成像矩阵参数对图像中的像点进行反向补偿。可以利用预先拍摄的视频图像进行成像装置的参数估计，并根据所述估计的参数对视频进行稳像。能够在未知成像装置参数的情况下，对视频进行稳像。

在本实施例的一个优选实施方式中，将所述计算所述成像装置的最优成像矩阵参数，具体优化为：提取任一图像中的多个特征点以及与所述图像的相邻帧中与所述特征点对应的匹配特征点；并分别建立特征点集合和匹配特征点集合；根据特征点集合和匹配特征点集合的位置对应关系计算得到最优成像矩阵参数。由于采用单一的特征点和匹配特征点所计算得到的最优成像矩阵参数容易出现误差，在本实施例中，提取任一相邻帧图像中的多个特征点的集合以及与所述图像的相邻帧中与所述特征点对应的匹配特征点；并分别建立特征点集和匹配特征点集，根据特征点集和匹配特征点集的位置对应关系计算得到最优成像矩阵参数。具体的，可以采用如下公式计算：

$O=\underset{i}{\Σ}\left|\right|x_2\left(i\right)-K*R\left(t_2\right(i\left)\right)*R^{-1}\left(t_1\right(i\left)\right)*K^{-1}*x_1\left(i\right)\left|\right|---\left(8\right).$

即根据特征点与相邻帧图像中的匹配特征点的对应关系,m₂＝K*R(t₂)*R^-1(t₁)*K^-1*m₁,可以计算得到成像装置的内参矩阵K,并利用内参矩阵的逆矩阵:

$K^{-1}=\left[\begin{array}{ccc}1& 0& -o_x\\ 0& 1& -o_y\\ 0& 0& f\end{array}\right]$ 能够确定最优成像矩阵参数(o_x,o_y,f)，采用上述方法所计算得到的最优成像矩阵参数能够有效避免采用单一的特征点和匹配特征点所产生的误差。

在本实施例的另一个优选实施方式中，还可利用上述方法计算得到成像装置系统时间与三轴陀螺仪系统时间的差值。成像装置本身携带的电子三轴陀螺仪能获取成像装置的旋转角度，其所拍摄视频也可以得到每一帧的时间戳，但是由于存在成像装置和陀螺仪所用参考时钟不一致或者信号延迟等原因，陀螺仪时间和成像装置系统时间存在时间偏移t_d，成像装置系统时间与陀螺仪时间之间的关系为t_g＝t_c+t_d，其中t_c为成像装置系统时间，t_g为电子三轴陀螺仪系统时间。对于视频某一帧时刻，其对应的成像装置旋转角度为ω(t_g)＝w(t_c+t_d)(9)。在利用成像装置对着细节丰富的场景拍摄一段视频时，记录下视频帧{I(i),i＝0,1,2Λn}以及每一帧的时间戳{t_c(i),i＝0,1,2,Λn}，同时记录下陀螺仪数据{ω_g(n),n＝0,1,2Λ}以及时间戳{t_g(n),n＝0,1,2Λ}。利用公式(8)及公式(9)得到对应的公式:

$O=\underset{i}{\Σ}\left|\right|x_2\left(i\right)-K*R\[(t_2-t_d)\left(i\right)\]*R^{-1}\[(t_1-t_d)\left(i\right)\]*K^{-1}*x_1\left(i\right)\left|\right|---\left(10\right),$ 利用上述公式可以计算得到该式值最小的一套参数(o_x,o_y,f,t_d)。即得到成像装置系统时间与三轴陀螺仪系统时间的差值。

实施例四

图5是本发明第四实施例提供的稳像装置的结构示意图，如图5所示，所述装置包括：

运动数据获取模块410，用于通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据；

去噪模块420，用于将所述运动数据进行去噪处理；

反向补偿模块430，用于根据去噪处理后的运动数据对图像中的像点进行反向补偿,去除所述图像抖动。

本实施例提供的稳像装置，通过内置于成像装置的三轴陀螺仪获取成像装置拍摄时的运动数据，并根据去噪后的运动数据对当前图像进行反向补偿。在无需增加额外硬件和拍摄图像效果不佳时，可以实现对视频进行稳像处理。提高了用户体验。

在上述各实施例的基础上，所述装置还包括：双线性插值模块，用于对反向补偿后图像中的像点进行双线性插值，并将双线性插值后的数值作为所述像点的像素值。

在上述各实施例的基础上，所述装置还包括：矩阵参数计算模块,用于计算所述成像装置的最优成像矩阵参数，所述成像矩阵参数包括：所述成像装置的焦距及所述成像装置光轴与像平面的交点；

所述反向补偿模块430，用于：根据去噪处理后的运动数据和所述最优成像矩阵参数对图像中的像点进行反向补偿。

在上述各实施例的基础上，所述矩阵参数计算模块用于：

提取任一图像中的特征点以及所述图像的相邻帧中与所述特征点对应的匹配特征点；

根据特征点和匹配特征点的位置对应关系计算得到最优成像矩阵参数。

在上述各实施例的基础上，所述矩阵参数计算模块用于：

计算成像装置系统时间与三轴陀螺仪系统时间的差值。

本实施例所提供的稳像装置可用于执行本发明任意实施例提供的稳像方法，具备相应的功能模块，实现相同的有益效果。

显然，本领域技术人员应该明白，上述的本发明的各模块或各操作可以通过如上所述的终端设备实施。可选地，本发明实施例可以用计算机装置可执行的程序来实现，从而可以将它们存储在存储装置中由处理器来执行，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等；或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或操作制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种稳像方法，其特征在于，所述方法包括：

通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据；

将所述运动数据进行去噪处理；

根据去噪处理后的运动数据对图像中的像点进行反向补偿，去除所述图像抖动。

2.根据权利要求1所述的方法，其特征在于，在根据去噪处理后的运动数据对图像中的像点进行反向补偿,去除所述图像抖动后，还包括：

对反向补偿后图像中的像点进行双线性插值，并将双线性插值后的数值作为所述像点的像素值。

3.根据权利要求1所述的方法，其特征在于，在通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据之前，还包括：

计算所述成像装置的最优成像矩阵参数，所述成像矩阵参数包括：所述成像装置的焦距及所述成像装置光轴与像平面的交点；

所述根据去噪处理后的运动数据对图像中的像点进行反向补偿，包括：

根据去噪处理后的运动数据和所述最优成像矩阵参数对图像中的像点进行反向补偿。

4.根据权利要求3所述的方法，其特征在于，所述计算所述成像装置的最优成像矩阵参数，包括：

提取任一图像中的特征点以及所述图像的相邻帧中与所述特征点对应的匹配特征点；

根据特征点和匹配特征点的位置对应关系计算得到最优成像矩阵参数。

5.根据权利要求3所述的方法，其特征在于，所述成像矩阵参数还包括：

成像装置系统时间与三轴陀螺仪系统时间的差值。

6.一种稳像装置，其特征在于，所述装置包括：

运动数据获取模块，用于通过内置于成像装置的三轴陀螺仪获取所述成像装置拍摄时的运动数据；

去噪模块，用于将所述运动数据进行去噪处理；

反向补偿模块，用于根据去噪处理后的运动数据对图像中的像点进行反向补偿,去除所述图像抖动。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

双线性插值模块，用于对反向补偿后图像中的像点进行双线性插值，并将双线性插值后的数值作为所述像点的像素值。

8.根据权利要求1所述的装置，其特征在于，所述装置还包括：

矩阵参数计算模块,用于计算所述成像装置的最优成像矩阵参数，所述成像矩阵参数包括：所述成像装置的焦距及所述成像装置光轴与像平面的交点；

所述反向补偿模块，用于：

根据去噪处理后的运动数据和所述最优成像矩阵参数对图像中的像点进行反向补偿。

9.根据权利要求8所述的装置，其特征在于，所述矩阵参数计算模块用于：

提取任一图像中的特征点以及所述图像的相邻帧中与所述特征点对应的匹配特征点；

根据特征点和匹配特征点的位置对应关系计算得到最优成像矩阵参数。

10.根据权利要求8所述的装置，其特征在于,所述矩阵参数计算模块用于：

计算成像装置系统时间与三轴陀螺仪系统时间的差值。