CN106934772A - 一种全景图像或视频的水平校准方法、系统及便携式终端 - Google Patents

Abstract

本发明适用于图像处理领域，提供了一种全景图像或视频的水平校准方法、系统及便携式终端。所述方法包括：接收通过两个拍摄方向相反的摄像头成像后的两个圆的图像或视频帧；获取拍摄时的水平校准矩阵；根据水平校准矩阵把两个圆的图像或视频帧通过UV贴图方式分别贴于球形全景数学模型的左半球曲面和右半球曲面，以使贴于球形全景数学模型的全景图像或视频帧是水平的。本发明可以使全景相机拍出来的图像或者视频帧不是水平的时候，贴于球形全景数学模型的全景图像或视频帧仍然是水平的。

Description

一种全景图像或视频的水平校准方法、系统及便携式终端

技术领域

本发明属于图像处理领域，尤其涉及一种全景图像或视频的水平校准方法、系统及便携式终端。

背景技术

现有技术具有采用双鱼眼广角摄像头来拍摄图像或视频的全景相机，成像后是两个圆的图像或视频帧，采用球形全景数学模型和UV贴图方式，把两个圆的成像通过UV贴图方式分别贴于球形全景数学模型的左半球曲面和右半球曲面，当全景相机正竖直拍摄的时候，UV贴图方式能使播放渲染的效果是水平的。UV贴图方式是指为一个表面创建UVs的过程，这个过程包括创建和编辑，其结果是明确地决定图像如何在三维模型上显示。UVs是驻留在多边形网格顶点上的两维纹理坐标点，其定义了一个两维纹理坐标系统，称为UV纹理空间，这个空间用U和V两个字母定义坐标轴，用于确定如何将一个纹理图像放置在三维的模型表面。

球形全景数学模型是一个由经纬度组成的球体，然后通过UV贴图方式把左边的成像贴到左半球曲面，右边的成像贴到右半球曲面，但是当全景相机拍出来的图像或者视频帧不是水平的时候，则会导致成像贴到球形全景数学模型上也不是水平的，使全景相机渲染出来的图像或视频畸变。

发明内容

本发明的目的在于提供一种全景图像或视频的水平校准方法、系统及便携式终端，旨在解决当现有技术的全景相机拍出来的图像或者视频帧不是水平的时候，则会导致成像贴到球形全景数学模型上也不是水平的，使全景相机渲染出来的图像或视频畸变的问题。

第一方面，本发明提供了一种全景图像或视频的水平校准方法，所述方法包括：

接收通过两个拍摄方向相反的摄像头成像后的两个圆的图像或视频帧；

获取拍摄时的水平校准矩阵；

根据水平校准矩阵把两个圆的图像或视频帧通过UV贴图方式分别贴于球形全景数学模型的左半球曲面和右半球曲面，以使贴于球形全景数学模型的全景图像或视频帧是水平的。

第二方面，本发明提供了一种全景图像或视频的水平校准系统，所述系统包括：

接收模块，用于接收通过两个拍摄方向相反的摄像头成像后的两个圆的图像或视频帧；

获取模块，用于获取拍摄时的水平校准矩阵；

贴图模块，用于根据水平校准矩阵把两个圆的图像或视频帧通过UV贴图方式分别贴于球形全景数学模型的左半球曲面和右半球曲面，以使贴于球形全景数学模型的全景图像或视频帧是水平的。

第三方面，本发明提供了一种便携式终端，所述便携式终端包括上述的全景图像或视频的水平校准系统。

在本发明中，由于获取拍摄时的水平校准矩阵，根据水平校准矩阵把通过两个拍摄方向相反的摄像头成像后的两个圆的图像或视频帧通过UV贴图方式分别贴于球形全景数学模型的左半球曲面和右半球曲面。因此本发明可以使全景相机拍出来的图像或者视频帧不是水平的时候，贴于球形全景数学模型的全景图像或视频帧仍然是水平的。

附图说明

图1是本发明实施例一提供的图像或视频的水平校准方法的流程图。

图2是本发明实施例二提供的图像或视频的水平校准系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1，本发明实施例一提供的全景图像或视频的水平校准方法包括以下步骤：

S101、接收通过两个拍摄方向相反的摄像头成像后的两个圆的图像或视频帧；

S102、获取拍摄时的水平校准矩阵；

S103、根据水平校准矩阵把两个圆的图像或视频帧通过UV贴图方式分别贴于球形全景数学模型的左半球曲面和右半球曲面，以使贴于球形全景数学模型的全景图像或视频帧是水平的。

在本发明实施例一中，S101和S102的顺序可以互换。

由于按照现有技术的UV贴图方式，球形全景数学模型的顶点与UV贴图是一一对应的，因此只要在UV贴图时，将球形全景数学模型乘以水平校准矩阵，则可以使球形全景数学模型的顶点不变，UV贴图的位置发生变化，使贴图位置是水平的。

S102具体可以为：通过陀螺仪和/或通过用户手动校准的方式获取拍摄时的水平校准矩阵。

在本发明实施例一中，所述通过陀螺仪获取拍摄时的水平校准矩阵具体可以包括以下步骤：

在拍摄时，根据陀螺仪的重力向量与参考的绝对水平重力向量(0，0，-1)得到水平校准的四元数；具体为：

从v1旋转变化到v2的水平校准的四元数q计算如下：

v1＝[x1 y1 z1]

v2＝[x2 y2 z2]

v3＝[x3 y3 z3]

dot＝v1·v2＝x1x2+y1y2+z1z2＝|v1|×|v2|×cos(angle)

angle＝acos(dot)*180/π

其中，v1为陀螺仪的重力向量，v2为参考的绝对水平重力向量，angle为绕轴旋转的角度，V3为V1与V2矩阵相乘得到的向量；

把水平校准的四元数转成水平校准矩阵；具体为：将水平校准的四元数转成4*4的水平校准矩阵M0如下：

在本发明实施例一中，所述通过用户手动校准的方式获取拍摄时的水平校准矩阵具体可以包括以下步骤：

获取用户手动校准前的初始的四元数q1，

接收用户对屏幕的手势操作指令，根据通过旋转轴axis和绕该轴旋转的角度angle构造的四元数q2的公式计算出手势操作后的四元数q3；其中，所述通过旋转轴axis和绕该轴旋转的角度angle构造的四元数q2的公式如下：

用户对屏幕的手势操作指令具体是绕世界坐标系的X，Y，Z轴分别旋转如下角度angle：-dy*180/320/8/180*π，-dx*180/320/8/180*π，deltaSlope，其中，dx为用户横向滑动屏幕的分量数值，dy为用户纵向滑动屏幕的分量数值，deltaSlope为用户双指操作滑动时的斜率变化角度,斜率变化角度：deltaSlope＝atan(currSlope)*180/π-atan(preSlope)*180/π，当前斜率：currSlope＝(y2-y1)/(x2-x1)，第一个点的坐标为p1(x1,y1)，第二个点的坐标为p2(x2,y2)，preslope是指上一次用户双指操作滑动时的斜率变化角度；

通过以下公式，得到手势操作后的四元数q3：

把手势操作后的四元数q3转成水平校准矩阵；具体为：将水平校准的四元数转成4*4的水平校准矩阵M0如下：

在本发明实施例一中，S103具体包括以下步骤：

将水平校准矩阵与经纬度的球形全景数学模型相乘得到做了相对旋转的球形全景数学模型；

把两个圆的图像或视频帧通过UV贴图方式分别贴于做了相对旋转的球形全景数学模型的左半球曲面和右半球曲面。

所述将水平校准矩阵与经纬度的球形全景数学模型相乘得到做了相对旋转的球形全景数学模型具体可以包括以下步骤：

在生成UV贴图数据时，根据经纬度的球形全景数学模型算法，通过以下公式得到每一个球形全景数学模型的顶点V：

其中，经线范围为0-180度，纬线θ范围为0-360度；

通过以下公式将顶点乘上水平校准矩阵：

把乘上了水平校准矩阵的顶点V转换回经纬度算出UV坐标；具体可以为：把经纬度与目标贴图的两个圆建立映射关系。

所述把两个圆的图像或视频帧通过UV贴图方式分别贴于做了相对旋转的球形全景数学模型的左半球曲面和右半球曲面具体为：

根据UV坐标把两个圆的图像或视频帧通过UV贴图方式分别贴于做了相对旋转的球形全景数学模型的左半球曲面和右半球曲面。

在本发明实施例一中，当S102是通过陀螺仪和通过用户手动校准的方式获取拍摄时的水平校准矩阵时，所述乘上了水平校准矩阵的顶点V具体可以是通过以下方式得到的：

将顶点V乘上通过用户手动校准的方式获取的拍摄时水平校准矩阵得到中间矩阵，然后将中间矩阵乘上通过陀螺仪的方式获取的拍摄时水平校准矩阵，得到乘上了水平校准矩阵的顶点V。

实施例二：

请参阅图2，本发明实施例二提供的全景图像或视频的水平校准系统包括：

接收模块11，用于接收通过两个拍摄方向相反的摄像头成像后的两个圆的图像或视频帧；

获取模块12，用于获取拍摄时的水平校准矩阵；

贴图模块13，用于根据水平校准矩阵把两个圆的图像或视频帧通过UV贴图方式分别贴于球形全景数学模型的左半球曲面和右半球曲面，以使贴于球形全景数学模型的全景图像或视频帧是水平的。

在本发明实施例二中，所述获取模块具体用于通过陀螺仪和/或通过用户手动校准的方式获取拍摄时的水平校准矩阵。

在本发明实施例二中，所述贴图模块具体包括：

相乘模块，用于将水平校准矩阵与经纬度的球形全景数学模型相乘得到做了相对旋转的球形全景数学模型；

贴图子模块，用于把两个圆的图像或视频帧通过UV贴图方式分别贴于做了相对旋转的球形全景数学模型的左半球曲面和右半球曲面。

本发明实施例还提供了一种便携式终端，所述便携式终端包括本发明实施例二提供的全景图像或视频的水平校准系统。

在本发明中，由于获取拍摄时的水平校准矩阵，根据水平校准矩阵把通过两个拍摄方向相反的摄像头成像后的两个圆的图像或视频帧通过UV贴图方式分别贴于球形全景数学模型的左半球曲面和右半球曲面。因此本发明可以使全景相机拍出来的图像或者视频帧不是水平的时候，贴于球形全景数学模型的全景图像或视频帧仍然是水平的。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种全景图像或视频的水平校准方法，其特征在于，所述方法包括：

接收通过两个拍摄方向相反的摄像头成像后的两个圆的图像或视频帧；

获取拍摄时的水平校准矩阵；

根据水平校准矩阵把两个圆的图像或视频帧通过UV贴图方式分别贴于球形全景数学模型的左半球曲面和右半球曲面，以使贴于球形全景数学模型的全景图像或视频帧是水平的。

2.如权利要求1所述的方法，其特征在于，所述获取拍摄时的水平校准矩阵具体为：通过陀螺仪和/或通过用户手动校准的方式获取拍摄时的水平校准矩阵。

3.如权利要求2所述的方法，其特征在于，通过陀螺仪获取拍摄时的水平校准矩阵具体包括：

在拍摄时，根据陀螺仪的重力向量与参考的绝对水平重力向量得到水平校准的四元数；具体为：

从v1旋转变化到v2的水平校准的四元数q计算如下：

v1＝[x1 y1 z1]

v2＝[x2 y2 z2]

v3＝[x3 y3 z3]

dot＝v1·v2＝x1x2+y1y2+z1z2＝|v1|×|v2|×cos(angle)

angle＝a cos(dot)*180/π

$v3=v1\×v2=\left[\begin{array}{c}x1\\ y1\\ z1\end{array}\right]\×\left[\begin{array}{c}x2\\ y2\\ z2\end{array}\right]=\left[\begin{array}{c}y1z2-z1y2\\ z1x2-x1z2\\ x1y2-y1x2\end{array}\right]$

$q=\left[\begin{array}{c}w\\ x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}cos(angle/180*\mathrm{\π}/2)\\ sin(angle/180*\mathrm{\π}/2)*x3\\ sin(angle/180*\mathrm{\π}/2)*y3\\ sin(angle/180*\mathrm{\π}/2)*z3\end{array}\right]$

其中，v1为陀螺仪的重力向量，v2为参考的绝对水平重力向量，angle为绕轴旋转的角度，V3为V1与V2矩阵相乘得到的向量；

把水平校准的四元数转成水平校准矩阵；具体为：将水平校准的四元数转成4*4的水平校准矩阵M0如下：

$M0=\left[\begin{array}{cccc}1.0-2.0*(y^2+z^2)& 2.0*(xy+wz)& 2.0*(xz-wy)& 0\\ 2.0*(xy-wz)& 1.0-2.0*(x^2+z^2)& 2.0*(yz+wx)& 0\\ 2.0*(xz+wy)& 2.0*(yz-wx)& 1.0-2.0*(x^2+y^2)& 0\\ 0& 0& 0& 1\end{array}\right].$

4.如权利要求2所述的方法，其特征在于，通过用户手动校准的方式获取拍摄时的水平校准矩阵具体包括：

获取用户手动校准前的初始的四元数q1，

接收用户对屏幕的手势操作指令，根据通过旋转轴axis和绕该轴旋转的角度angle构造的四元数q2的公式计算出手势操作后的四元数q3；其中，所述通过旋转轴axis和绕该轴旋转的角度angle构造的四元数q2的公式如下：

$q2=\left[\begin{array}{c}w2\\ x2\\ y2\\ z2\end{array}\right]=\left[\begin{array}{c}cos(angle/180*\mathrm{\π}/2)\\ sin(angle/180*\mathrm{\π}/2)*axis.x\\ sin(angle/180*\mathrm{\π}/2)*axis.y\\ sin(angle/180*\mathrm{\π}/2)*axis.z\end{array}\right]$

用户对屏幕的手势操作指令具体是绕世界坐标系的X，Y，Z轴分别旋转如下角度angle：-dy*180/320/8/180*π，-dx*180/320/8/180*π，deltaSlope，其中，dx为用户横向滑动屏幕的分量数值，dy为用户纵向滑动屏幕的分量数值，deltaSlope为用户双指操作滑动时的斜率变化角度,斜率变化角度：deltaSlope＝atan(currSlope)*180/π-atan(preSlope)*180/π，当前斜率：currSlope＝(y2-y1)/(x2-x1)，第一个点的坐标为p1(x1,y1)，第二个点的坐标为p2(x2,y2)，preslope是指上一次用户双指操作滑动时的斜率变化角度；

通过以下公式，得到手势操作后的四元数q3：

$q3=q1\×q2=\left[\begin{array}{c}w*w2-x*x2-y*y2-z*z2\\ w*x2+x*w2+y*z2-z*y2\\ w*y2+y*w2+z*x2-x*z2\\ w*z2+z*w2+x*y2-y*x2\end{array}\right]$

把手势操作后的四元数q3转成水平校准矩阵；具体为：将水平校准的四元数转成4*4的水平校准矩阵M0如下：

$M0=\left[\begin{array}{cccc}1.0-2.0*(y^2+z^2)& 2.0*(xy+wz)& 2.0*(xz-wy)& 0\\ 2.0*(xy-wz)& 1.0-2.0*(x^2+z^2)& 2.0*(yz+wx)& 0\\ 2.0*(xz+wy)& 2.0*(yz-wx)& 1.0-2.0*(x^2+y^2)& 0\\ 0& 0& 0& 1\end{array}\right].$

5.如权利要求1至4任一项所述的方法，其特征在于，所述根据水平校准矩阵把两个圆的图像或视频帧通过UV贴图方式分别贴于球形全景数学模型的左半球曲面和右半球曲面具体包括：

将水平校准矩阵与经纬度的球形全景数学模型相乘得到做了相对旋转的球形全景数学模型；

把两个圆的图像或视频帧通过UV贴图方式分别贴于做了相对旋转的球形全景数学模型的左半球曲面和右半球曲面。

6.如权利要求5所述的方法，其特征在于，所述将水平校准矩阵与经纬度的球形全景数学模型相乘得到做了相对旋转的球形全景数学模型具体包括：

在生成UV贴图数据时，根据经纬度的球形全景数学模型算法，通过以下公式得到每一个球形全景数学模型的顶点V：

其中，经线范围为0-180度，纬线θ范围为0-360度；通过以下公式将顶点乘上水平校准矩阵：

$V=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\×M0=\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]$

把乘上了水平校准矩阵的顶点V转换回经纬度算出UV坐标。

7.如权利要求6所述的方法，其特征在于，所述把两个圆的图像或视频帧通过UV贴图方式分别贴于做了相对旋转的球形全景数学模型的左半球曲面和右半球曲面具体为：

根据UV坐标把两个圆的图像或视频帧通过UV贴图方式分别贴于做了相对旋转的球形全景数学模型的左半球曲面和右半球曲面。

8.如权利要求6所述的方法，其特征在于，当所述获取拍摄时的水平校准矩阵是通过陀螺仪和通过用户手动校准的方式获取拍摄时的水平校准矩阵时，所述乘上了水平校准矩阵的顶点V具体是通过以下方式得到的：

将顶点V乘上通过用户手动校准的方式获取的拍摄时水平校准矩阵得到中间矩阵，然后将中间矩阵乘上通过陀螺仪的方式获取的拍摄时水平校准矩阵，得到乘上了水平校准矩阵的顶点V。

9.一种全景图像或视频的水平校准系统，其特征在于，所述系统包括：

接收模块，用于接收通过两个拍摄方向相反的摄像头成像后的两个圆的图像或视频帧；

获取模块，用于获取拍摄时的水平校准矩阵；

贴图模块，用于根据水平校准矩阵把两个圆的图像或视频帧通过UV贴图方式分别贴于球形全景数学模型的左半球曲面和右半球曲面，以使贴于球形全景数学模型的全景图像或视频帧是水平的。

10.如权利要求9所述的系统，其特征在于，所述获取模块具体用于通过陀螺仪和/或通过用户手动校准的方式获取拍摄时的水平校准矩阵。

11.如权利要求10所述的系统，其特征在于，所述贴图模块具体包括：

相乘模块，用于将水平校准矩阵与经纬度的球形全景数学模型相乘得到做了相对旋转的球形全景数学模型；

贴图子模块，用于把两个圆的图像或视频帧通过UV贴图方式分别贴于做了相对旋转的球形全景数学模型的左半球曲面和右半球曲面。

12.一种便携式终端，其特征在于，所述便携式终端包括权利要求9至11任一项所述的全景图像或视频的水平校准系统。